本发明涉及图像处理、计算机视觉，具体涉及一种基于两阶段网络的甲状腺三维可视化方法、系统、计算机设备及存储介质。
背景技术：
1、甲状腺结节，这一常见的人类疾病，已经引起了医学界的广泛关注。据统计，有多达68％的人群可能患有此病。但值得庆幸的是，这些结节大部分都是良性的，风险相对较低。正因为这样，避免对这些良性结节进行过度治疗显得尤为重要。
2、超声检查，因其简便、实时、无创以及高性价比的特点，已被广泛认为是评估甲状腺结节的首选影像学手段。在实际应用中，某些特定的超声特征，例如低回声、微钙化以及不规则的结节边缘，已被证实为鉴别恶性与良性结节的可靠标准。
3、但在临床诊断过程中，医生需要花费大量时间评估这些超声特征，而且这一过程很大程度上依赖于放射科医生的丰富经验和医院所配备的超声设备。特别是，放射科医生在解读扫描图像时，往往需要运用立体思维能力来做出更为准确的判断。
4、然而，要实现基于超声动态视频的三维重建并非易事。其中一个主要难题在于，不同的扫描技巧和路径会导致相邻帧之间存在难以预测的位移。这种位移不仅使得三维重建变得更加复杂，还可能影响到最终的重建精度。另一个挑战在于，每个超声动态视频都包含数十甚至上百帧图像，这就意味着注释工作需要耗费大量的人力资源和时间。而目前，这项工作主要还是依赖人工完成，因此成本相当高。
技术实现思路
1、针对基于超声动态视频进行甲状腺三维重建困难问题，本发明提出了一种基于两阶段网络的甲状腺三维可视化方法，旨在基于超声动态视频对甲状腺进行三维重建，提高放射科医生的工作效率。
2、本发明公开的一种两阶段网络的甲状腺可视化方法，包括如下步骤：
3、获取甲状腺数据集，并对所述数据集中的数据进行预处理；
4、搭建适用于甲状腺结节检测的第一阶段网络，将预处理后的数据输入所述第一阶段网络进行甲状腺结节检测；
5、搭建感兴趣区域提取模块，基于所述第一阶段网络检测的边界框结果，通过所述感兴趣区域提取模块进行特征区域提取；
6、搭建适用于甲状腺结节分割的第二阶段网络，将提取的特征区域输入所述第二阶段网络对特征区域内的甲状腺结节进行分割；
7、基于甲状腺结节的检测结果和分割结果，对所述第一阶段网络和第二阶段网络进行训练，得到最佳权重数据；
8、将所述最佳权重数据载入所述第一阶段网络和第二阶段网络，对输入的待可视化数据进行甲状腺结节的检测和分割，所述待可视化数据包括超声动态l切面扫查视频和超声动态d切面扫查视频，所述l切面为最长径切面，所述d切面为与所述l切面垂直的最大径切面；
9、搭建后处理模块，基于检测和分割的结果，对甲状腺结节三维可视化。
10、一种优选的实施例，所述获取甲状腺数据集，并对所述数据集中的数据进行预处理，具体包括：
11、步骤s101，采集经超声确定为甲状腺结节且具有明确的良恶性病理结果的超声静态图像构建图像数据集，采集经超声确定为甲状腺结节且具有明确的良恶性病理结果的超声动态视频构建视频数据集；
12、步骤s102，将所述图像数据集划分为图像训练集和图像测试集，将所述视频数据集作为外部视频测试集；
13、步骤s103，对图像数据集中的数据进行归一化预处理。
14、一种优选的实施例，所述基于所述第一阶段网络检测的边界框结果，通过所述感兴趣区域提取模块对所述数据进行特征区域提取，具体包括如下：
15、步骤s301，对所述数据类型进行判断，若所述数据类型为图像数据，进行步骤s302，若所述数据类型为视频数据，进行步骤s303；
16、步骤s302，基于所述第一阶段网络检测的边界框结果，通过预设的置信度阈值对所述边界框的置信度分数ci进行判断，若置信度分数ci大于所述置信度阈值基于预设倍数α，将所述边界框的边界扩大，并对扩大后的边界框内的区域作为特征区域；
17、步骤s303，基于所述第一阶段网络检测的边界框结果，通过预设的置信度阈值对所述边界框的置信度分数ci进行判断和通过预设的滑动阈值θ对相邻帧间的所述边界框重心位置的欧氏距离d进行判断，若置信度分数ci大于所述置信度阈值且所述欧氏距离d小于滑动阈值θ，基于预设倍数α，将所述边界框的边界扩大，并对扩大后的边界框内的区域作为特征区域。
18、一种优选的实施例，所述基于所述第一阶段网络检测的边界框结果，通过所述感兴趣区域提取模块对所述数据进行特征区域提取，还包括如下：将所述视频数据的相邻五帧设置为一个固定块，对位于相同固定块内的数据，采用相同的边界框，并对边界框边界内的数据提取作为特征区域。
19、一种优选的实施例，所述第一阶段网络采用yolov8网络，所述第一阶段网络损失函数采用focal loss损失函数l1，所述focal loss损失函数l1为l1＝-(1-pt)γlog(pt)
20、其中pt为为样本真实类别的预测概率，γ为调节权重因子的超参数。
21、一种优选的实施例，所述第二阶段网络采用基于注意力机制的swin-unet网络，所述第二阶段网络损失函数l2包括交叉熵损失函数lce和dice损失函数ld，所述损失函数l2为
22、l2＝lce+λld
23、
24、
25、其中，n为样本数，yi和pi分别表示第i个像素点的真实标签和模型输出的预测结果，ε为用于避免分母为零的情况的常数，λ为调节权重因子的超参数。
26、一种优选的实施例，所述待可视化数据包括超声动态横向扫描视频和超声动态纵向扫描视频。
27、一种优选的实施例，所述搭建后处理模块，基于检测和分割的结果，对甲状腺结节三维可视化，包括：
28、基于所述超声动态l切面扫查视频和超声动态d切面扫查视频的检测和分割结果，识别甲状腺结节，获取甲状腺结节l切面的分割结果和甲状腺结节d切面的分割结果；
29、基于甲状腺结节l切面的分割结果和甲状腺结节d切面的分割结果，获取甲状腺结节的几何数据；
30、基于甲状腺结节的几何数据，对所述超声动态l切面扫查视频和超声动态d切面扫查视频的分割结果分别进行放缩，得到基于超声动态l切面扫查视频的真实形态3d结果和基于超声动态d切面扫查视频的真实形态3d结果；
31、通过平均池化方法，将基于超声动态l切面扫查视频的真实形态3d结果和基于超声动态d切面扫查视频的真实形态3d结果进行融合，得到甲状腺结节的三维可视化结果。
32、本发明还提供运用如上述任一所述的基于两阶段网络的甲状腺三维可视化方法所建立的系统，包括：
33、图像采集模块，用于获取甲状腺数据集，并对数据集中的数据进行预处理；
34、检测模块，用于对预处理后的数据进行甲状腺结节检测；
35、提取模块，用于基于甲状腺结节的检测结果，进行特征区域提取；
36、分割模块，用于特征区域内甲状腺结节分割；
37、后处理模块，用于基于甲状腺结节的检测和分割结果，对甲状腺结节三维可视化。
38、本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行上述任一项所述方法的指令。
39、本发明还提供一种存储介质，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一项的一种两阶段网络的甲状腺可视化方法。
40、本发明公开的一种基于两阶段网络的甲状腺三维可视化方法与现有技术相比，具有以下有益效果：
41、(1)通过第一阶段网络对甲状腺结节进行检测，基于第一阶段网络的检测结构，对边界框内的特征区域进行数据提取，通过第二阶段网络对特征区域内的甲状腺结节进行分割处理，提高了甲状腺内结节的检测和识别精度，并且准确对甲状腺结节进行分割。
42、(2)搭建后处理模块，基于第一阶段网络和第二阶段网络对待可视化的数据进行检测和分割，识别甲状腺结节，并且通过多视图融合算法，与真实形态信息进行融合，对甲状腺结节三维可视化。通过这种方法为放射科医生提供结节的自动分割以及甲状腺结节患者特定的三维几何形状。
1.一种基于两阶段网络的甲状腺三维可视化方法，其特征在于，包括如下步骤：
2.按照权利要求1所述的一种基于两阶段网络的甲状腺三维可视化方法，其特征在于，所述获取甲状腺数据集，并对所述数据集中的数据进行预处理，具体包括：
3.按照权利要求1或2所述的一种基于两阶段网络的甲状腺三维可视化方法，其特征在于，所述基于所述第一阶段网络检测的边界框结果，通过所述感兴趣区域提取模块对所述数据进行特征区域提取，具体包括如下：
4.按照权利要求3所述的一种基于两阶段网络的甲状腺三维可视化方法，其特征在于，所述基于所述第一阶段网络检测的边界框结果，通过所述感兴趣区域提取模块对所述数据进行特征区域提取，还包括如下：将所述视频数据的相邻五帧设置为一个固定块，对位于相同固定块内的数据，采用相同的边界框，并对边界框边界内的数据提取作为特征区域。
5.按照权利要求1所述的一种基于两阶段网络的甲状腺三维可视化方法，其特征在于：所述第一阶段网络采用yolov8网络，所述第一阶段网络损失函数采用focal loss损失函数l1，所述focal loss损失函数l1为
6.按照权利要求1或2所述的一种基于两阶段网络的甲状腺三维可视化方法，其特征在于：所述第二阶段网络采用基于注意力机制的swin-unet网络，所述第二阶段网络损失函数l2包括交叉熵损失函数lce和dice损失函数ld，所述损失函数l2为
7.按照权利要求1所述的一种基于两阶段网络的甲状腺三维可视化方法，其特征在于：所述搭建后处理模块，基于检测和分割的结果，对甲状腺结节三维可视化，包括：
8.一种运用如权利要求1-7任一所述的一种基于两阶段网络的甲状腺三维可视化方法所建立的系统，其特征在于，包括：
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1-8中任一项所述方法的指令。
10.一种存储介质，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-8任一所述的一种基于两阶段网络的甲状腺三维可视化方法。
