本发明涉及成像分割分类，具体涉及一种基于多模态特征融合的乳腺功能预测方法、设备及存储介质。
背景技术：
1、乳腺癌已经成为世界上最常见的癌症之一。目前，乳腺成像报告和数据系统(bi-rads)分级依靠超声技术，四种乳腺病变分为4a、4b和4c，分别反映低恶性(2％-10％)、中恶性(10％-50％)和高恶性(50％-95％)的可能性增加。由于bi-rads四类中良恶性病变部分重叠，导致病变为恶性的概率在2％～95％之间，使得部分良性病变被过度评估和侵袭性治疗，而部分恶性病变被低估并延迟最佳治疗。因此，明确bi-rads四类乳腺病变的良恶性对准确诊断和随访治疗具有重要意义。
2、乳腺磁共振成像(mri)打破了传统的单一形态诊断模型，允许对病变进行定量和定性分析。然而，人工读取mri非常耗时，计算机辅助早期诊断乳腺病变具有重要意义。
3、但是mri的计算机诊断存在以下问题：(1)病变通常形状不规则，位置不固定；(2)病变仅占整幅图像的0.01％-4.63％，导致严重的类别不平衡问题；(3)病变与正常组织对比度低，病变难以识别。因此，完成这项工作非常具有挑战性。
4、深度学习是医学图像分析最有效的方法之一。然而，由于乳腺mri图像存在的问题，其诊断的准确性仍有很大的提升空间。有很多工作致力于解决类似上述问题。为了解决形状不规则和位置不固定带来的问题，一些现有技术试图通过不同尺寸和分辨率的核来捕获图像的多尺度信息。为了解决类不平衡问题，一些现有技术通过注意力机制来增强对小目标的识别能力。为了解决病变与正常组织对比度低带来的问题，一些现有技术利用边界感知机制刻画了模糊的病变边界。上述方法已成功应用于器官和病变图像分析。然而，它们不能直接应用于乳腺mri图像的读取。
5、这主要是因为乳腺病变仅占图像的0.01％-4.63％。现有解决类不平衡问题的方法仅在病变占图像的10％以上时有效。它们在读取乳腺mri图像时，往往将病变作为噪声。这使得病变形状不规则、位置不固定、对比度低的问题更加严重。
6、在临床上，医生首先确定病变的位置，然后进行病理检查，以区分病变是良性还是恶性。此外，病变的良性或恶性可以表现为不同的形式。例如，在乳腺病变的情况下，圆形或椭圆形病变通常是良性的，而不规则形状的病变可能是恶性的。这说明分割结果与良恶性判别的准确性密切相关。受此启发，一种同时考虑分割和分类任务以相互促进的方法，是一种很有希望获得积极结果的解决方案。
技术实现思路
1、本发明提出的一种基于多模态特征融合的乳腺功能预测方法、设备及存储介质，可至少解决背景技术中的技术问题之一。
2、为实现上述目的，本发明采用了以下技术方案：
3、一种基于多模态特征融合的乳腺功能预测方法，通过计算机设备执行以下步骤，
4、包括以下步骤，
5、s1、首先，对ct影像和临床文本数据进行预处理；
6、s2、其次，设计自适应模块寻找最适合ipf患者的乳腺功能衰减函数；
7、s3、利用特征提取模块来全面提取特征，将处理的数据输入到特征提取模块和衰减函数，特征提取模块包括ct特征提取、临床文本特征提取和乳腺功能特征提取3个子模块，以全面提取特征。使用多模态特征预测网络全面评估乳腺功能情况；
8、s4、最后，对特征提取模块进行调整，对预训练模型进行微调以提升模型的预测性能，然后用于评估试验结果。
9、进一步地，所述s1具体包括，
10、s11，数据集包含患者的乳腺ct扫描和相关临床文本信息；在0周时采集患者ct图像，并在1～2年的过程中进行多次随访；相关临床文本信息包括患者id、百分比、年龄、fvc、性别、周数，其中百分比表示每个患者的fvc相对于同年龄、同性别人群中典型的fvc水平，周数是指与基线ct扫描的相对周数；
11、s12，对得到的ct数据集进行预处理，首先，对乳腺的ct影像进行一系列的预处理，包括窗宽窗位调整、中值滤波降噪、图像大小调整、重采样、归一化处理；然后，使用基于阈值分割法和形态学操作进行乳腺部区域分割；最后，实施一系列的数据增强操作包括随机旋转、随机平移、随机裁剪、随机缩放、水平翻转、垂直翻转、亮度调整和对比度调整以提高模型的鲁棒性；
12、s13:首先，将年龄信息转化为标准化的数值：计算样本年龄与训练数据集年龄平均值的差值，然后除以标准差；其次，将性别信息编码为数值，男性对应数值0，女性对应数值1。
13、进一步地，步骤s2包括，
14、s21，预测乳腺指标，首先引入的多种用于患者fvc预测的公式，然后自适应寻找最优的fvc衰减公式并生成参数标签；fvc(t)代表时间t的fvc值；
15、s22：然后确定了以下几种具有代表性的衰减模型；
16、(1)线性衰减：
17、fvc(t)＝fvc(0)-b*t
18、该模型适用于一些ipf患者的疾病进展表现为均匀且连续的fvc衰减；这种情况下，衰减速率是恒定的，不受时间的影响；这对应于那些疾病发展相对稳定，没有经历急剧恶化或明显的缓解阶段的患者；
19、(2)指数衰减：
20、fvc(t)＝a*e-b*t+c
21、该模型表示疾病的进展初期迅速，但随着时间的推移，进展的速度逐渐减缓；这对应于那些疾病初期病变快速扩展，但随着疾病的发展，病变区域的增长速度逐渐降低的患者；
22、(3)对数衰减：
23、fvc(t)＝a*lgt+b
24、该模型代表了患者在疾病的早期可能没有明显的fvc衰减，但随着时间的推移，衰减逐渐加速；这种模型与那些在疾病的早期阶段表现出相对稳定，但在后期疾病迅速进展的患者相匹配；
25、(4)幂衰减：
26、fvc(t)＝a*tb+c
27、该模型表明fvc的衰减与时间的关系是非线性的；这适用于那些疾病进展不是均匀加速或减速，而是受到多种因素影响，并在某些时期内表现出复杂的进展模式的患者；其中，t代表周数，而a、b和c是待确定的模型参数，fvc(0)代表初始测量的fvc值；
28、s23：使用最小二乘法拟合上述模型，目标是最小化预测值与观测值之间的误差平方和。
29、进一步地，步骤s3包括，
30、s31:自适应乳腺功能预测模型的整体流程图由3个关键步骤组成：(1)引入的多种用于患者fvc预测的独特公式，自适应寻找最优的fvc衰减公式并生成参数标签；(2)使用网络架构resnext-50从预分割的ct图像中提取深层特征并融合乳腺功能特征和临床文本特征；(3)微调预训练模型，优化模型的性能和预测能力；
31、s32:在对乳腺区域进行分割后，从ct图像和临床文本信息中提取相关乳腺功能特征；这些特征包括乳腺体积v、第1次fvc测量的时间以及自第1次fvc测量以来经过的时间；乳腺体积是评估乳腺结构和功能的关键指标之一，通过计算乳腺区域内像素的体积，获取患者的乳腺相关信息，计算公式如下：
32、v＝vpixel*n
33、vpixel＝xspacing*yspacing*zspacing
34、其中，v表示单个像素的体积，xspacing、yspacing、zspacing分别表示ct影像中3个方向上像素之间的间隔，n表示乳腺部区域像素的个数；同时，将预处理后的临床文本特征、提取的乳腺功能特征与使用resnext-50提取的ct图像特征进行拼接，以创建考虑成像和临床信息的综合特征集。
35、进一步地，步骤s31中网络架构采用resnext-50，resnext-50模型引入了残差连接，通过跳跃连接将输入数据与输出数据相加，有助于解决深层网络中的梯度消失问题，使得模型能够更好地学习到图像的高级特征表示；
36、resnext-50网络层数结构总体包括5个卷积层；先通过conv1层的7×7卷积，再由conv2层中3×3的卷积核进行下采样，然后重复堆叠残差网络的block结构，堆叠的个数分别是3、4、6、3，再通过全局平均池化下采样，全连接层连接，最后经由softmax层激活将分类结果输出；中间堆叠残差神经网络的分组个数c即基数为32，每一组通道数为4。
37、进一步地，步骤s4具体包括，
38、s41:在模型的微调和训练过程中，首先，利用预训练的resnext-50模型，将其提取的ct影像特征与临床文本特征、乳腺功能特征连接起来，形成综合的特征集，添加全连接层和dropout层，以具备回归预测能力；然后，将训练数据和测试数据按照5折交叉验证划分，创建数据加载器用于加载ct影像和相关临床信息，并应用2d数据增强技术增加数据多样性；
39、s42:训练采用adam优化算法，使用l1损失函数度量预测值与真实fvc值的差异；在每个训练轮次中，通过前向传播、反向传播和参数优化，更新模型的权重；利用拟合的伪标签和训练集数据对模型进行微调和训练，通过迭代优化模型性能和预测能力；在每个轮次结束时，评估模型在验证集上的表现，并保存具有最佳得分的模型参数；整个过程会在每个折的训练集和测试集上重复进行，以优化模型的性能和预测能力；
40、s43:采用多个评价指标来全面评估结合迁移学习和多模态特征融合的乳腺功能预测方法的性能；
41、采用改进的拉普拉斯对数似然即modified version of the laplace loglikelihood，lllm指标用于评估模型对其决策的信心和预测的准确性，反映每个预测结果的确定性和可靠性；
42、为计算lllm指标，根据kaggle比赛的参考方法，对于每个真实的fvc测量，按照以下公式计算fvc和置信度的测量值：
43、σclipped＝max(σ,70)
44、δ＝min(|fvctrue-fvcpredicted|,1000)
45、
46、其中，δ用于避免大误差带来的不利惩罚，将超过1 000ml的误差截断为0；σclipped则将置信度裁剪为最大值为70ml，以反映对fvc近似测量的不确定度；根据每周的预测结果计算lllm指标，并对所有周的指标进行平均，得到最终的评估得分；lllm的计算结果始终为负值，而值越低表示更好的性能。
47、进一步地，步骤s42具体包括，
48、为了对比从零基础训练和使用预训练模型在ipf患者的乳腺功能预测中的表现，每种模型都进行了2种实验设置：使用随机初始化权重进行训练即零基础训练和使用预训练模型进行初始化，并进行微调以适应任务即预训练模型；其余的训练参数，包括学习率、批大小和优化器，都保持一致以确保对比的公正性。
49、进一步地，步骤s43中除了lllm指标，还使用了均方根误差和平均绝对误差作为辅助指标，以提供对预测结果准确性的衡量。
50、又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
51、再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上方法的步骤。
52、由上述技术方案可知，本发明提出了一种基于迁移学习和多模态特征融合的乳腺功能预测方法。本发明通过设计自适应模块寻找最优的乳腺功能衰减公式，有效地克服了先验假设可能引入的误差问题，为使用线性先验假设提供了选择依据；然后，利用迁移学习技术，先前任务中学习到的特征和参数被应用于乳腺功能预测任务，解决了数据量不足的问题，同时提高了学习效率和模型的稳定性；最后，通过引入多模态特征融合的策略，实现了ct影像、临床文本特征和乳腺功能特征的有效结合，充分利用了不同信息源之间的互补性，进一步提升了预测性能。不同模态数据预测实验表明，加入临床文本特征的模型预测能力优于只使用ct影像的模型，使用ct影像+临床文本特征+乳腺功能特征的模型预测效果最优，验证了本研究所提取的乳腺功能特征的有效性。
53、具体的说，不同模态数据预测实验表明，加入临床文本特征的模型预测能力优于只使用ct影像的模型，使用ct影像+临床文本特征+乳腺功能特征的模型预测效果最优，验证了本研究所提取的乳腺功能特征的有效性。使用15种不同特征提取网络实验结果表明，所提出的方法在lllm、rmse和mae评价指标上，resnext-50表现最优，其中lllm为-6.706 5，rmse为184.5，mae为146.2，这代表了它具有最高的预测准确性和预测结果的确定性。相反，efficientnet-b7的表现在所有指标上均较差，这可能是由于其相对较大的模型规模，在数据集规模较小的情况下容易出现过拟合的问题。这些结果一方面揭示了所提出的方法具有良好的一致性和可推广性，另一方面也暗示了在乳腺功能预测任务中，较轻的模型可能更适合处理较小的数据集，而更复杂的模型可能需要更大的数据集来避免过拟合。从零基础训练与预训练模型实验结果中可以明显观察到，无论是使用lllm、rmse还是mae评价指标，预训练模型的性能都优于零基础训练模型。这表明预训练模型在大规模通用图像数据上学到的特征可以通过迁移学习应用于医学图像领域。本研究成果在乳腺功能的监测和评估方面具有重要的实际应用价值。通过提供更准确的预测结果，本研究的方法能够协助医生和临床医疗团队制定更有效的治疗计划，监测疾病进展，并及时采取干预措施。
54、该方法具有以下优势和贡献：(1)设计了一种结合迁移学习和多模态特征融合的乳腺功能预测方法，能够全面评估患者的乳腺功能的衰减程度，较kaggle比赛第1名具有更高的预测精度；(2)设计的自适应模块能为每个患者生成个性化预测模型，从而增强预测的个性化能力；(3)通过提取和选择乳腺功能特征提升了模型精度，并通过消融实验证明了其有效性；(4)验证了预训练模型在乳腺功能预测中的有效性，可以提高模型预测精度；(5)本研究在主流的卷积神经网络特征提取模型下验证了该方法的预测效果，进一步证明了其有效性和可行性。
1.一种基于多模态特征融合的乳腺功能预测方法，其特征在于，包括以下步骤，
2.根据权利要求1所述的基于多模态特征融合的乳腺功能预测方法，其特征在于：所述s1具体包括，
3.根据权利要求2所述的基于多模态特征融合的乳腺功能预测方法，其特征在于：步骤s2包括，
4.根据权利要求3所述的基于多模态特征融合的乳腺功能预测方法，其特征在于：步骤s3包括，
5.根据权利要求4所述的基于多模态特征融合的乳腺功能预测方法，其特征在于：步骤s31中网络架构采用resnext-50，resnext-50模型引入了残差连接，通过跳跃连接将输入数据与输出数据相加，有助于解决深层网络中的梯度消失问题，使得模型能够更好地学习到图像的高级特征表示；
6.根据权利要求4所述的基于多模态特征融合的乳腺功能预测方法，其特征在于：步骤s4具体包括，
7.根据权利要求6所述的基于多模态特征融合的乳腺功能预测方法，其特征在于：步骤s42具体包括，
8.根据权利要求6所述的基于多模态特征融合的乳腺功能预测方法，其特征在于：步骤s43中除了lllm指标，还使用了均方根误差和平均绝对误差作为辅助指标，以提供对预测结果准确性的衡量。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述方法的步骤。
