本发明涉及医学图像处理和医学影像识别，具体涉及甲状腺超声影像肿瘤分割分类与精细化评级方法。
背景技术：
1、甲状腺结节是甲状腺内常见的异常生长，通常通过颈部超声成像来识别。这些生长物可能充满固体或液体，其处理受到尺寸和位置等因素的影响。当前对甲状腺的判断通常采用甲状腺成像报告和数据系统ti-rads(thyroid lmaging-reporting and datasystem)实现对影像信息的识别。ti-rads的分类方法，是根据大小、回声性、边缘、形状和钙化等特征将甲状腺结节分为不同的风险级别，指导临床医生决定是否需要活检或其他进一步评估。
2、随着医学人工智能技术的不断发展,利用机器学习或者深度学习对超声影像进行识别从而得到相应的参考信息以辅助医务人员进行诊疗已经成为普遍的手段。在ti-rads方面，机器学习可以补充ti-rads分类，特别是当ti-rads训练数据稀缺时，机器学习模型会发现ti-rads遗漏的元素，改善恶性肿瘤的检测。
3、现有技术公开号为cn 113393512 a公开了一种基于二维超声图像的甲状腺体积自动估算方法及系统，用于解决传统甲状腺体积测量专业性强操作难度高导致的甲状腺体积测量效率较低、加重医生工作负担的技术问题。公开号为cn 115239655 a公开的一种甲状腺超声影像肿瘤分割分类方法及装置，用于自动标记出肿瘤的边界并提供良恶性分类结果。cn 109350089a公布一种基于ct图像的甲状腺区域自动分割方法，用于甲状腺区域的自动分割。cn 114998296 a公布一种基于改进unet网络的甲状腺结节分割方法，对结节区域进行精确的定位，同时增强全局上下文与局部信息，降低甲状腺结节分割的误差。电子论文https://blog.csdn.net/qq_40714949/article/details/123971916公开的文章《multi-task learning for thyroid nodule segmentation with thyroid region prio》公开了一种用于甲状腺结节分割的甲状腺区域先验特征增强网络增强了甲状腺结节的分割。上述现有技术中，其使用甲状腺超声医学图像分割分类系统存在以下问题：
4、1.由于甲状腺结节的形状、颜色和亮度不确定，并且可能与其他器官混淆，甲状腺结节不容易被系统自动检测，现有的方法忽略了回声、组织成份因素，导致不正确或缺失的自动检测结果，妨碍放射科医生及时诊断，甚至导致甲状腺活检位置不正确。因此缺乏一种准确自动检测的甲状腺超声医学图像处理及评估的方法。
5、2.现有的方法仅能做甲状腺结节良恶性的基础判断，并没有细致的等级评估方法且未对结节的恶性程度进行分层研究。因此缺乏一种细致的评估甲状腺结节的方法。
6、基于以上分析，需要一种能够对现有的甲状腺成像报告和数据系统进行改进实现其更准确化的甲状腺超声影像肿瘤分割分类以及精密化的评级。
技术实现思路
1、1.所要解决的技术问题：
2、针对上述技术问题，本发明提供一种甲状腺超声影像肿瘤分割分类与精细化评级方法，不仅实现更准确化的甲状腺超声影像肿瘤分割分类、同时能够进行精密化的评级。
3、2.技术方案：
4、一种甲状腺超声影像肿瘤分割分类与精细化评级方法，其特征在于：包括以下步骤：
5、步骤一：构建甲状腺结节自动分割分类模型tn-asc，具体包括甲状腺区域先验引导特征增强网络pgfe_net、改进生成对抗网络gans、resnet50分类网络以及梯度加权的类激活热力图grad-cam；其中pgfe_net采用编码器解码器分别对输入甲状腺超声图像的结节特征、腺体特征中的结节大小形状以及边缘信息进行提取；gans对输入的甲状腺超声图像提取出图片中的回声以及回声灶的特征；esnet50分类网络将输入的pgfe_net与gans的提取的特征进行分类鉴别后输入梯度加权的类激活热力图grad-cam生成热力图，通过热力图显示优先级别实现辅助诊断；
6、步骤二：构建训练分割分类模型的样本数据集；所述样本数据集中的样本为对甲状腺超声图像进行标注腺体标签或结节标签，进而构建包含甲状腺超声图像、仅包含腺体标签的腺体图像、仅包括结节标签的结节图像据的样本集；
7、步骤三：训练分割分类模型；按照预设的比例设置训练集与测试集对模型进行训练得到训练好的甲状腺结节自动分割分类模型；
8、步骤四：将需要测评的甲状腺超声图像输入训练好的模型后，pgfe_net输出的结节掩膜图片、腺体掩膜图片以及结节大小信息，gans输出的回声信息均送入resnet50分类网络，resnet50分类网络输出包含结节组成、回声、形状、边缘清晰度、回声灶方面的特征；
9、步骤五：设计甲状腺结节症状计分器；该计分器为根据甲状腺结节ti-rads分类标准进行设计的，其包括多个预设的甲状腺结节相关的特征，每个特征均根据症状的轻重分为对应的多种层级，每个层级对应不同的得分，进而得到该甲状腺超声图像的各个层级得分、综合得分；并根据综合得分将图片进行分级；
10、步骤六：将计分器中包含的特征根据其预设的优先级、得分的高低输入梯度加权的类激活热力图grad-cam生成热力图，通过热力图显示优先级别实现辅助诊断。
11、进一步地，所述改进生成对抗网络gans为基于pix2pix的图像合成网络。
12、进一步地，所述甲状腺区域先验引导特征增强网络pgfe_net具体包括5层递进相连的共享编码器、4层递进相连的腺体解码器、5层递进相连的结节解码器、结节大小预测解码器、自适应甲状腺区域先验引导模块arpg；1-4层的每层共享编码器将输入的图像提取的高维特征图传递至相应层的结节解码器、腺体解码器；最后一层的共享编码器将其提取出的特征传递至第一层的结节解码器、腺体解码器；同时最后一层的共享编码器将其提取出的特征传递至结节大小预测解码器；1-3层的每层的腺体解码器分别连接至该层对应的自适应甲状腺区域先验引导模块arpg获取甲状腺区域的先验信息，并将先验信息传递至对应层的结节解码器；最后一层的腺体解码器以及结节解码器在编码器的共享机制下输出的图像中包括每个像素属于腺体区域或结节区域的概率；所述结节大小预测解码器输出图像中结节的预测尺寸。
13、进一步地，所述结节大小预测解码器根据第五层共享编码器的输出的特征图实现结节尺寸的预测，其预测得到的结节的尺寸spred如下式所示：
14、spred＝sigmoid(mlp(f5))
15、其中sigmoid(·)表示sigmoid(·)函数，f5表示pgfe_net中共享编码器第五层的特征图，mlp表示多层感知器网络；
16、采用log-cosh损失函数计算结节大小预测解码器的尺寸预测任务的损失lsize，如下式：
17、其中:nnodule表示该批量输入的甲状腺结节图像的数量，sgt表示该结节在像图中所占的真值面积比。log(·)和cosh(·)分别表示对数函数和双曲余弦函数。
18、进一步地，步骤五中类激活热力图grad-cam采用如下式的交叉熵损失分析甲状腺结节特征的对应的损失，实现优化grad-cam参数，提高视觉展示准确性；
19、
20、上式中，表示总体损失的集合；表示恶性/良性损失；表示成分损失，所述成分损失包括实性、混合囊性、囊性和海绵状；表示彗尾损失的回声灶；表示微钙化损失的回声灶；表示宏观钙化丢失的回声灶；表示周围钙化丢失的回声灶；表示回声性丢失，所述回声性丢失包括无回声、极低回声、低回声和高回声；表示边缘丢失，所述边缘丢失包括平滑、边界不清、不规则和扩展。
21、进一步地，所述计分器中，预设的甲状腺结节相关的特征包括结节组成、回声、现状、边缘清晰度以及回声灶；根据综合得分得到的分级包括：tr1良性、tr2不可疑、tr3轻度可疑、tr4中度可疑、tr5重度可疑。
22、进一步地，在步骤三训练模型具体为：将同一张甲状腺超声图像对应的腺体图像样本、结节图像样本输入pgfe_net中；pgfe_net将提取输入图像的结节大小、形状、边缘特性和与周围组织的对比度信息生成腺体掩膜图像和结节掩膜图像，得到的两种掩膜图像能够表示甲状腺结节和腺体区域在超声图像中的具体位置和形状；将该张超声图像输入到gans网络中，生成包含回声信息的图像；将腺体掩膜图像、结节掩膜图像和回声信息的图像同时送入resnet50分类网络；resnet50网络结合所有输入的特征，提取并分类结节的多种类型信息；所述多种类型信息包括ti-rads类型、成分、回声性、边缘和回声焦点；将resnet50分类网络输出的类型信息输入grad-cam进行训练；grad-cam通过检查全连接层之前最后一个2d特征图的梯度，为每种输出类型生成基本区域的粗略定位图，从而提供模型决策的视觉解释，突出显示对模型决策影响最大的区域。
23、3.有益效果：
24、(1)本方法公开的一种甲状腺超声影像肿瘤分割分类与精细化评级方法，对结节信息、腺体信息分别进行特征提取；对甲状腺超声图像将结节、腺体信息的标注分别处理得到结节图像和腺体图像，并且在训练模型时分别将不同的图像批量输入对应的特征提取网络进行训练，能够有效提高特征提取的准确性进而有助于图像中结节类型的分类。
25、(2)本方法构建的甲状腺结节自动分割分类模型tn-asc结合pgfe_net网络、gans网络、resnet50模型网络以及利用grad-cam技术，保证该模型能够有效提高甲状腺结节恶性肿瘤的检测和分类准确性，实现结节的精细化评级，
26、(3)本方法公开的一种甲状腺超声影像肿瘤分割分类与精细化评级方法，其采用的pgfe_net网络和gans网络通过优化的特征提取过程，能够有效捕捉结节的大小、形状、边缘特性以及与周围组织的对比度信息，从而增强对甲状腺结节特征的分析能力。
27、(4)本方法公开的一种甲状腺超声影像肿瘤分割分类与精细化评级方法，利用grad-cam技术，本发明能够提供模型决策过程的可视化解释，突出显示对模型决策影响最大的区域。这种可视化解释弥合深度学习模型与专家放射科医生解释之间的差距，为医生提供更直观的诊断依据。
1.一种甲状腺超声影像肿瘤分割分类与精细化评级方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种甲状腺超声影像肿瘤分割分类与精细化评级方法，其特征在于：所述改进生成对抗网络gans为基于pix2pix的图像合成网络。
3.根据权利要求2所述的一种甲状腺超声影像肿瘤分割分类与精细化评级方法，其特征在于：所述甲状腺区域先验引导特征增强网络pgfe_net具体包括5层递进相连的共享编码器、4层递进相连的腺体解码器、5层递进相连的结节解码器、结节大小预测解码器、自适应甲状腺区域先验引导模块arpg；1-4层的每层共享编码器将输入的图像提取的高维特征图传递至相应层的结节解码器、腺体解码器；最后一层的共享编码器将其提取出的特征传递至第一层的结节解码器、腺体解码器；同时最后一层的共享编码器将其提取出的特征传递至结节大小预测解码器；1-3层的每层的腺体解码器分别连接至该层对应的自适应甲状腺区域先验引导模块arpg获取甲状腺区域的先验信息，并将先验信息传递至对应层的结节解码器；最后一层的腺体解码器以及结节解码器在编码器的共享机制下输出的图像中包括每个像素属于腺体区域或结节区域的概率；所述结节大小预测解码器输出图像中结节的预测尺寸。
4.根据权利要求3所述的一种甲状腺超声影像肿瘤分割分类与精细化评级方法，其特征在于：所述结节大小预测解码器根据第五层共享编码器的输出的特征图实现结节尺寸的预测，其预测得到的结节的尺寸spred如下式所示：
5.根据权利要求4所述的一种甲状腺超声影像肿瘤分割分类与精细化评级方法，其特征在于：步骤五中类激活热力图grad-cam采用如下式的交叉熵损失分析甲状腺结节特征的对应的损失，实现优化grad-cam参数，提高视觉展示准确性；
6.根据权利要求5所述的一种甲状腺超声影像肿瘤分割分类与精细化评级方法，其特征在于：所述计分器中，预设的甲状腺结节相关的特征包括结节组成、回声、现状、边缘清晰度以及回声灶；根据综合得分得到的分级包括：tr1良性、tr2不可疑、tr3轻度可疑、tr4中度可疑、tr5重度可疑。
7.根据权利要求6所述的一种甲状腺超声影像肿瘤分割分类与精细化评级方法，其特征在于：在步骤三训练模型具体为：将同一张甲状腺超声图像对应的腺体图像样本、结节图像样本输入pgfe_net中；pgfe_net将提取输入图像的结节大小、形状、边缘特性和与周围组织的对比度信息生成腺体掩膜图像和结节掩膜图像，得到的两种掩膜图像能够表示甲状腺结节和腺体区域在超声图像中的具体位置和形状；将该张超声图像输入到gans网络中，生成包含回声信息的图像；将腺体掩膜图像、结节掩膜图像和回声信息的图像同时送入resnet50分类网络；resnet50网络结合所有输入的特征，提取并分类结节的多种类型信息；所述多种类型信息包括ti-rads类型、成分、回声性、边缘和回声焦点；将resnet50分类网络输出的类型信息输入grad-cam进行训练；grad-cam通过检查全连接层之前最后一个2d特征图的梯度，为每种输出类型生成基本区域的粗略定位图，从而提供模型决策的视觉解释，突出显示对模型决策影响最大的区域。
