本发明涉及医学图像处理，尤其涉及一种基于超声图像的乳腺癌新辅助治疗(neoadjuvant therapy,nat)疗效预测方法。
背景技术：
1、基于医学图像的特征提取和图像分类是深度学习在医疗领域常见的应用。深度学习在这种应用中的优势在于其不需要人为的设计或构造特征，网络模型能够通过正向传播和反向传播的迭代过程自主学习目标特征，同时深度学习也具有对医学图像中的复杂数据表征的超强学习能力。病灶的识别和检测是深度学习在医疗领域中的一项重要任务，这一任务的解决使得手动分割病灶这种工作不再需要大量人力物力，fang等将yolov3与dmrf-cnn组合，提出了yolov3-dmrf(dense multi-receptive fields)模型，该模型的特点在于其多尺度检测层，使用多感受野卷积来检测边缘和纹理特征，能够识别出不同大小的甲状腺结节。除病灶检测外，深度学习在医疗领域中更成功的应用是图像特征的提取和基于此的图像分类，借助计算机强大的运算和学习能力，能够客观地对医学图像中隐含的信息进行判断，在一定程度上避免医生的误诊、漏诊情况，帮助医生更合理地制定医疗策略，具体到疗效预测方面，深度学习的应用包括肿瘤的缓解程度预测、患者存活情况预测、病灶复发或癌细胞转移的预测等。qu等人基于治疗前后多个时间点的dce-mri图像训练了深度学习模型，验证了多时间节点能够提升模型对病灶治疗响应的评估能力。byra等人使用暹罗网络量化表征了新辅助治疗治疗过程中乳腺癌超声图像的特征，最终模型的auc(area undercurve)值为0.847，其研究提出了在超声图像中使用神经网络迁移学习预测新辅助治疗疗效的可行性。但是，当下对低质量医学图像的辅助治疗疗效的预测的误判率较高，有待进一步降低。
技术实现思路
1、本发明的目的在于，提出了一种基于超声图像的乳腺癌新辅助治疗疗效预测方法，以解决当前临床过程中医生主观性较强以及医学图像质量较低导致的新辅助治疗过程中误判率较高的问题。
2、本发明采用的技术方案为：
3、基于超声图像的乳腺癌新辅助治疗疗效预测方法，该方法包括下列步骤：
4、步骤1，基于患者在新辅助治疗前和新辅助治疗期间不同疗程的超声图像构建数据集，其中数据集中的超声图像数据包括同一患者的二维超声图像(two-dimensionalultrasound)和超声造影图像(contrast-enhanced ultrasound)；
5、步骤2，基于孪生网络构建用于新辅助治疗疗效预测的分类网络；
6、其中，分类网络包括两条网络结构相同的特征提取支路和一个分类器，一条特征提取支路用于提取患者新辅助治疗前所对应的超声图像的图像特征；另一条特征提取支路用于提取患者在新辅助治疗期间的超声图像的图像特征；分类器用于对两条特征提取支路输出的特征图进行展平后拼接，再基于分类层输出患者的新辅助治疗的疗效概率，该概率的值域为0-1之间的数，其值越小，表征患者拥有的疗效越好；
7、将数据集基于疗程分为不同疗程所对应的子数据集，并基于每个子数据集的超声图像类型将子数据集划分为第一子数据集和第二子数据集，分别对应二维超声图像和超声造影图像；
8、为每个疗程分别设置一个分类网络，基于疗程所对应的数据集，按照从最后一个疗程依次到首个疗程的顺序，在疗程所对应的第一、第二子数据集上分别训练分类网络，从而得到每个疗程的两个分类模型；
9、在训练时，第一个被训练的疗程的分类网络的网络参数可随机初始化，或沿用具有的预训练后的网络参数；下一个被训练的疗程的分类网络的网络参数初始值为上一个疗程的分类网络训练好的网络参数；
10、步骤3，获取待预测患者的新辅助治疗前和新辅助治疗期间的超声图像对，该超声图像对包括基于二维超声图像的图像对和基于超声造影图像的图像对；
11、对超声图像对进行病灶检测，提取病灶区域图像并进行图像预处理以得到与分类模型的输入相匹配的病灶图像对；
12、再将病灶图像对输入对应疗程对应超声图像类型的分类模型，融合两个分类模型输出的疗效概率，得到当前待预测患者的新辅助治疗疗效预测结果。
13、进一步的，步骤1中，数据集中的超声图像的图像名称的命名字段包括：患者编号、所属疗程、用于区分超声造影图像和二维超声图像的图像种类和图像编号。
14、进一步的，训练时用于获取输入分类网络的图像对的图像处理包括：
15、对图片中的病灶区域进行手工标注并经专家复核后得到病灶标注框；
16、基于病灶标注框向外扩展指定数量的像素点的方式，在超声图像中裁剪出病灶区域图像，再对其进行图像尺寸归一化处理，得到输入分类网络的图像对的图像。
17、进一步的，进行图像尺寸归一化处理时，对空白区域使用黑色进行填充。
18、进一步的，步骤1中，还包括对数据集进行数据增强处理，其处理方式为：将超声视频送入yolov8网络进行视频识别，对置信度高于指定值(优选0.9)的视频段进行拆帧操作，基于得到的视频帧图像扩充数据集。
19、进一步的，特征提取支路为若干个瓶颈结构的堆叠结构，其中，该瓶颈结构的主支路依次包括卷积核为1x1卷积层、批归一化层、激活函数层、卷积核为3x3的深度可分离卷积层、批归一化层、激活函数层、1x1卷积层、批归一化层、激活函数层、空间和通道注意力模块和卷积注意力模块，且瓶颈结构的输入与空间和通道注意力模块的输出之间存在短连接。
20、进一步的，分类器的分类层依次包括dropout层、1x1卷积层、激活函数层、1x1卷积层和softmax函数层。
21、进一步的，将疗程划分为四类：治疗前、治疗两个疗程、治疗4个疗程和治疗6个疗程，并为后三类疗程分别设置对应的分类模型。
22、本发明提供的技术方案至少带来如下有益效果：
23、本发明基于患者的多模态超声数据，基于孪生网络构建提取新辅助治疗前和治疗中的对照图像的图像特征，基于提取的图像特征预测患者的新辅助治疗的疗效概率，有效降低了当前临床过程中医生主观性较强以及医学图像质量较低导致的新辅助治疗过程中的误判率。
24、本发明在构建数据集时的命名规则可以实现对数据集的有效管理和溯源，所采用的图像裁剪方式可以使神经网络在尽显特征提取时获取更多的信息。
25、本发明所构建的分类网络结构，特征提取部分基于空间和通道注意力模块、卷积注意力模块、深度可分离卷积实现了有效的对照特征提取，再将两者展平拼接后，通过dropout层防止了过拟合；再接着直接利用卷积核为1x1的卷积操作获取分类网络的输出，患者的新辅助治疗的疗效概率，实现了轻量级的网络特征提取和预测。
1.基于超声图像的乳腺癌新辅助治疗疗效预测方法，其特征在于，包括下列步骤：
2.如权利要求1所述的方法，其特征在于，步骤1中，数据集中的超声图像的图像名称的命名字段包括：患者编号、所属疗程、用于区分超声造影图像和二维超声图像的图像种类和图像编号。
3.如权利要求2所述的方法，其特征在于，步骤1中，图像名称中的患者编号、所属疗程、图像种类和图像编号分别设置为：
4.如权利要求1所述的方法，其特征在于，训练时用于获取输入分类网络的图像对的图像处理包括：
5.如权利要求4所述的方法，其特征在于，进行图像尺寸归一化处理时，对空白区域使用黑色进行填充。
6.如权利要求1所述的方法，其特征在于，步骤1中，还包括对数据集进行数据增强处理，其处理方式为：将超声视频送入yolov8网络进行视频识别，对置信度高于指定值的视频段进行拆帧操作，基于得到的视频帧图像扩充数据集。
7.如权利要求1所述的方法，其特征在于，特征提取支路为若干个瓶颈结构的堆叠结构，其中，该瓶颈结构的主支路依次包括卷积核为1x1卷积层、批归一化层、激活函数层、卷积核为3x3的深度可分离卷积层、批归一化层、激活函数层、1x1卷积层、批归一化层、激活函数层、空间和通道注意力模块和卷积注意力模块，且瓶颈结构的输入与空间和通道注意力模块的输出之间存在短连接。
8.如权利要求1所述的方法，其特征在于，分类器的分类层依次包括dropout层、1x1卷积层、激活函数层、1x1卷积层和softmax函数层。
9.如权利要求1至8任一项所述的方法，其特征在于，将疗程划分为四类：治疗前、治疗两个疗程、治疗4个疗程和治疗6个疗程，并为后三类疗程分别设置对应的分类模型。
