本发明涉及医学图像处理，尤其涉及一种基于神经网络融合机制的乳腺癌转移风险评估方法。
背景技术：
1、乳腺癌是女性群体中发病率最高的恶性肿瘤，正危害着全球女性的健康。评估乳腺癌是否发生转移对于患者治疗方案的制定至关重要。乳腺癌的肿瘤细胞主要通过腋窝淋巴结向患者身体各处扩散转移，故腋窝淋巴结状态是评估乳腺癌是否发生转移的关键因素。最初的腋窝淋巴结状态评估方法是腋窝淋巴结清扫(alnd)。由于alnd会清除局部的淋巴管、淋巴结和血管，患者易出现上肢水肿、局部疼痛、活动受限等后遗症，同时要对取出的所有腋窝淋巴结进行检测，费时费力、费用较高。为解决alnd的缺点，乳腺癌诊疗领域提出了前哨淋巴结活检技术(slnb)。前哨淋巴结(sln)是鉴别恶性病变淋巴流向的首个淋巴结。文献《n.beechey-newman.sentinel node biopsy:a revolution in the surgicalmanagement of breast cancer[j].cancer treat rev 1998,24:185-203》表明前哨淋巴结的状态可代表整个腋窝淋巴结状态，slnb可代替alnd成为判断乳腺癌转移、分期的重要技术手段。slnb使用侵入性手术，将前哨淋巴结取出进行活检，此方法对于乳腺癌是否发生转移的判定十分准确，被行业称为“金标准”。slnb因为采用了侵入性手术，仍会对患者上肢造成损伤，造成局部出血、感染、疼痛等后遗症。最新的医学实践中，医生通常使用sln超声图像来评估乳腺癌是否发生转移，该方法具有无创、便捷、花销少等优点。但传统人工阅片受医生专业水平影响，误诊率较高。故亟需一种快速、精准、普适的乳腺癌转移风险预测方法。
技术实现思路
1、本发明提出了一种基于神经网络融合机制的乳腺癌转移风险评估方法，用以解决当前阶段sln超声图像人工阅片受医生专业水平影响，误诊率较高的问题，实现了基于神经网络的智能辅助诊断。
2、本发明采用的技术方案为：
3、基于神经网络融合机制的乳腺癌转移风险评估方法，该方法包括下列步骤：
4、步骤1，构建前哨淋巴结sln超声图像数据集，以在该数据集上对构建的乳腺癌转移风险评估模型进行网络参数调优(即构建出评估模型的训练集和验证集)；sln超声图像数据集包括sln二维超声数据集tdus和sln超声造影数据集ceus；
5、步骤2，构建乳腺癌转移风险评估模型，该评估模型包括：基于残差网络resnet的第一字网络(de_resnet子网络)、基于自注意力神经网络vision transformer的第二子网络(fold_vit子网络)，以及基于choquet模糊积分的模糊积分融合模块；其中，de_resnet子网络和fold_vit子网络分别用于预测当前输入图像数据的乳腺癌转移风险的二分类的评估结果，包括阳性概率和阴性概率；
6、在数据集tdus上分别对de_resnet子网络和fold_vit子网络进行训练和验证，当满足预置的训练结束条件时得到训练好的基于tdus的de_resnet子网络和基于tdus的fold_vit子网络；
7、在数据集ceus上分别对de_resnet子网络和fold_vit子网络进行训练和验证，当满足预置的训练结束条件时得到训练好的基于ceus的de_resnet子网络和基于ceus的fold_vit子网络；其中，训练结束条件可以设置为训练次数，损失函数值收敛，或者是预测性能达到期望值等。
8、通过基于choquet模糊积分的模糊积分融合模块对四个子网络输出的评估结果进入结果融合处理，得到模糊积分阳性概率和模糊积分阴性概率，再基于最大值原则得到最终的乳腺癌转移风险的最终结果，从而基于构建完成的乳腺癌转移风险评估模型(四个子网络和一个于choquet模糊积分的模糊积分融合模块)得到可实现机器阅读sln超声图像的乳腺癌转移风险辅助评估器。
9、进一步的，步骤1具体包括：
10、整理采集的sln超声图像数据集，再按照指定的比例划分为训练集、验证集；
11、对sln超声图像数据集的图像数据进行前哨淋巴结人工标注和专家复核；
12、根据标注结果对图像数据进行前哨淋巴结图像裁剪后进行图像尺寸的归一化处理。
13、进一步的，步骤2中，de_resnet子网络依次包括：卷积层、第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、平均池化层、全连接层和softmax函数层；
14、其中，第一卷积模块依次包括最大池化层和若干个elu_resnet残差模块构成的堆叠结构；第二卷积模块、第三卷积模块和第四卷积模块分别为若干个残差模块构成的堆叠结构，且第二卷积模块、第三卷积模块和第四卷积模块的首个残差模块为带下采样的残差模块，其余残差模块为elu_resnet残差模块；其中，elu_resnet模块的主支路依次包括三层卷积层，且elu_resnet模块的输入与其最后一层卷积层之间设置跳跃连接；带下采样的残差模块包括主、次两分支，其主分支包括三层卷积层，次分支依次包括卷积层和平均池化层主、次分支的输入相同，最后将主、次分支的输出特征图相加得到带下采样的残差模块的输出特征图。
15、进一步的，步骤2中，fold_vit子网络的结构为：输入为三通道彩色图像，通过卷积层对输入的图像数据进行升维，接着通过高度和宽度的展平操作将卷积层的输出特征图展平为一个向量，再将展平后的向量与分类向量进行拼接后再与位置编码相加，再接着通过dropout层；然后通过unfold操作将dropout层的输出特征图分解为多个数据块，构成块序列；每个块序列分别送入transformers模块进行编码处理，transformers模块的输出经fold操作还原为块序列形状，再经归一化处理后提取序列中的类令牌，最后通过基于多层感知机的预测头输出分类结果。
16、进一步的，步骤1中，所构建的前哨淋巴结sln超声图像数据集的数据标签基于前哨淋巴结活检结果进行设置。
17、本发明提供的技术方案至少带来如下有益效果：
18、本发明提供的基于神经网络融合机制的乳腺癌转移风险评估方法的评估性能优异，本发明方法提供的乳腺癌转移风险评估模型能高效、准确地辅助医师进行乳腺癌转移风险的预测，提升医生效率，降低医生工作强度。
1.基于神经网络融合机制的乳腺癌转移风险评估方法，其特征在于，包括下列步骤：
2.如权利要求1所述的方法，其特征在于，步骤1具体包括：
3.如权利要求2所述的方法，其特征在于，图像尺寸归一化处理后的图像大小设置为224×224。
4.如权利要求1所述的方法，其特征在于，步骤2中，第一子网络依次包括：卷积层、第一卷积模块、第二卷积模块、第三卷积模块、第四卷积模块、平均池化层、全连接层和softmax函数层；
5.如权利要求4所述的方法，其特征在于，第一子网络的首个卷积层采用卷积核大小为7×7、步距为2的卷积层；
6.如权利要求1所述的方法，其特征在于，步骤2中，第二子网络的结构为：输入为三通道彩色图像，通过卷积层对输入的图像数据进行升维，接着通过高度和宽度的展平操作将卷积层的输出特征图展平为一个向量，再将展平后的向量与分类向量进行拼接后再与位置编码相加，再接着通过dropout层；然后通过unfold操作将dropout层的输出特征图分解为多个数据块，构成块序列；每个块序列分别送入transformers模块进行编码处理，transformers模块的输出经fold操作还原为块序列形状，再经归一化处理后提取序列中的类令牌，最后通过基于多层感知机的预测头输出分类结果。
7.如权利要求6所述的方法，其特征在于，第二子网络的首个卷积层采用的卷积核大小为16×16、步距为16。
8.如权利要求1至7任一项所述的方法，其特征在于，步骤1中，所构建的前哨淋巴结sln超声图像数据集的数据标签基于前哨淋巴结活检结果进行设置。
