本技术属于医学图像处理,尤其涉及一种基于多任务学习的肺叶分割模型训练及肺叶分割方法。
背景技术:
1、计算机断层扫描(ct)在各种肺部疾病的诊断中发挥着重要作用。肺部由左肺和右肺组成,其中左肺有两个肺叶,右肺有三个肺叶。肺叶分割可以帮助医生更准确地评估肺部结构和定位病变区域,从而制定更有效的治疗方案。因此,对肺部ct图像中的肺叶进行分割对于许多肺部疾病的诊断和治疗具有重要意义。然而,肺叶分割面临许多挑战,肺叶分割的难点主要在于肺部解剖结构复杂,各个肺叶的边界模糊且在不同个体之间存在显著的变异性。此外,肺部病变(如肿瘤、结节或炎症)可能导致肺叶结构的畸变,使得分割更加困难。
2、现有的肺叶分割方法主要包括传统的图像处理技术和基于深度学习的算法。传统方法通常依赖于检测肺叶裂,肺边缘以及其他解剖特征,如肺血管和气道的分布,但这些方法在处理复杂结构和变异性大的肺部图像时往往表现不佳。基于深度学习的方法,如u-net(ronneberger,olaf,philipp fischer,and thomas brox."u-net:convolutionalnetworks for biomedical image segmentation."medical image computing andcomputer-assisted intervention–miccai 2015:18th international conference,munich,germany,october 5-9,2015,proceedings,part iii 18.springerinternational publishing,2015.),能够从复杂的三维图像数据中自动学习和提取关键特征,自动识别肺的边缘和肺叶之间的边界(医学上称为肺裂)。这种基于深度学习的方法虽然在分割精度上有所提升,但却离不开前期对大量训练数据进行标注。由于在三维ct图像上进行肺叶标注耗时长,成本高,而且对标注者的医学知识和临床经验要求高,工作量极大。所以获取大规模高质量的肺叶标注数据集非常困难,导致肺叶分割的深度学习模型开发受到限制。如何基于少量肺叶标注数据训练深度学习模型是目前肺叶分割所面临的挑战。
技术实现思路
1、有鉴于此,本技术的目的在于提供一种基于多任务学习的肺叶分割模型训练及肺叶分割方法,通过血管分割任务和气道分割任务辅助学习肺部结构,采用多任务交替训练策略和对编码器的每一层都应用随梯度大小进行自适应调整的学习率,更新肺叶分割模型,减轻了数据标注的压力以及数据标注质量的要求,显著提高了肺叶分割的性能。
2、本技术提供了一种基于多任务学习的肺叶分割模型训练方法,所述肺叶分割模型由编码器和解码器基于u型结构搭建而成,所述解码器包括:肺叶解码器、血管解码器和气道解码器;所述训练方法,包括:
3、设置所述肺叶分割模型的批处理大小、最大训练次数、优化算法、以及所述编码器对各肺部结构的学习率;其中,所述学习率包括:肺叶学习率、血管学习率和气道学习率;
4、将不同肺部结构对应的训练集交替输入至所述肺叶分割模型,调用该肺部结构的解码器执行该肺部结构的分割任务,并对该肺部结构的解码器的权重进行更新;其中,所述训练集包括:肺叶训练集、血管训练集和气道训练集;所述分割任务包括:肺叶分割任务、血管分割任务和气道分割任务;
5、根据所述编码器对该肺部结构的学习率对所述编码器的权重进行更新;
6、基于更新权重后的该肺部结构的解码器和所述编码器,得到最优的所述肺叶分割模型。
7、进一步的,所述肺叶学习率是固定值;所述血管学习率包括:血管学习率初始值和血管学习率更新值;所述气道学习率包括:气道学习率初始值和气道学习率更新值;
8、所述血管学习率更新值和气道学习率更新值分别通过以下公式计算得出:
9、
10、式中,lrvessel为血管学习率更新值,λvessel为执行血管分割任务时编码器的权重更新幅度的调控系数,lrlobe为肺叶学习率,为执行肺叶分割任务时编码器的第i层网络的参数在第n次迭代时的网络权重的梯度,为执行血管分割任务时编码器的第i层网络的参数在第n次迭代时的网络权重的梯度,lrairway为气道学习率更新值,λairway为执行气道分割任务时编码器的权重更新幅度的调控系数,为执行气道分割任务时编码器的第i层网络的参数在第n次迭代时的网络权重的梯度,||表示l1范数,即元素的绝对值之和。
11、进一步的,其特征在于,所述执行血管分割任务时所述编码器的权重更新幅度的调控系数λvessel,和执行气道分割任务时所述编码器的权重更新幅度的调控系数λairway的取值范围为(0,1),以使执行血管分割任务和气道分割任务时编码器的权重更新幅度小于肺叶分割任务时编码器的权重更新幅度。
12、进一步的,所述根据该肺部结构对应的编码器的学习率对该肺部结构的解码器和所述编码器的权重进行更新,包括:
13、通过以下公式对所述编码器的权重进行更新:
14、
15、式中,θi,n为编码器的第i层网络的参数在第n次迭代时的权重,θi,n-1为编码器的第i层网络的参数在第n-1次迭代时的权重;
16、其中,通过以下公式得出编码器的权重的更新幅度
17、式中,lr是学习率,gi,n是编码器的第i层网络的参数在第n次迭代时的梯度。
18、进一步的,在将不同肺部结构对应的训练集交替输入至所述肺叶分割模型之前,所述训练方法还包括:
19、获取多个肺部三维图像;
20、针对每一个肺部三维图像,使用任一肺部结构对所述肺部三维图像进行标注,以得到具有标注的肺部三维图像;
21、基于具有同一肺部结构标注的肺部三维图像构建数据集,以得到肺叶数据集、血管数据集和气道数据集;
22、按照8:2的比例分别将所述肺叶数据集、血管数据集和气道数据集分为训练集和测试集,以得到所述肺叶训练集、血管训练集和气道训练集;
23、对所述训练集中具有标注的肺部三维图像进行预处理。
24、进一步的,所述使用任一肺部结构对所述肺部三维图像进行标注,以得到具有标注的肺部三维图像,包括:
25、利用基于多图集的半自动分割算法,对所述肺部三维图像进行肺叶分割,得到具有初始肺叶标注的肺部三维图像,并对所述初始肺叶标注进行人工校正,得到具有精确肺叶标注的肺部三维图像;
26、或者,利用基于图网络的全自动分割算法,对所述肺部三维图像进行血管分割,得到具有血管标注的肺部三维图像;
27、或者,利用半自动区域生长算法,对所述肺部三维图像进行气道分割,得到具有气道标注的肺部三维图像。
28、进一步的,所述对所述训练集中具有标注的肺部三维图像进行预处理,包括:
29、对具有标注的肺部三维图像的ct值进行窗口截断,截断至[-1500hu,1500hu];
30、将窗口截断后的具有标注的肺部三维图像归一化至[-1,1];
31、将归一化后的具有标注的肺部三维图像缩放到各向同性的层间距;其中,所述层间距为0.75mm;
32、从缩放后的具有标注的肺部三维图像中裁剪出固定尺寸的具有标注的肺部三维图像;其中,所述固定尺寸为:沿xyz轴的像素点分别为240,240和120;
33、对裁剪出的具有标注的肺部三维图像进行数据增强处理。
34、本技术还提供了一种肺叶分割方法,包括:
35、获取待分割肺部三维图像;
36、将所述待分割肺部三维图像输入至所述肺叶分割模型,分别得到肺叶分割结果、血管分割结果和气道分割结果;其中,所述肺叶分割模型是基于如上述任一种所述的基于多任务学习的肺叶分割模型训练方法训练得到的;
37、采用最大连通域提取算法提取所述肺叶分割结果的每个肺叶区域的最大连通部分,以去除所述肺叶分割模型输出的噪音,并将所述肺叶分割结果的图像缩放至与输入的所述待分割肺部三维图像相同的尺寸。
38、本技术的基于多任务学习的肺叶分割模型训练及肺叶分割方法的有益效果是:通过血管分割任务和气道分割任务辅助学习肺部结构,采用多任务交替训练策略和对编码器的每一层都应用随梯度大小进行自适应调整的学习率,更新肺叶分割模型,减轻了数据标注的压力以及数据标注质量的要求,显著提高了肺叶分割的性能。
1.一种基于多任务学习的肺叶分割模型训练方法,其特征在于,所述肺叶分割模型由编码器和解码器基于u型结构搭建而成,所述解码器包括:肺叶解码器、血管解码器和气道解码器;所述训练方法,包括:
2.如权利要求1所述的方法,其特征在于,所述肺叶学习率是固定值;所述血管学习率包括:血管学习率初始值和血管学习率更新值;所述气道学习率包括:气道学习率初始值和气道学习率更新值;
3.如权利要求2所述的方法,其特征在于,所述执行血管分割任务时所述编码器的权重更新幅度的调控系数λvessel,和执行气道分割任务时所述编码器的权重更新幅度的调控系数λairway的取值范围为(0,1),以使执行血管分割任务和气道分割任务时编码器的权重更新幅度小于肺叶分割任务时编码器的权重更新幅度。
4.如权利要求1所述的方法,其特征在于,所述根据该肺部结构对应的编码器的学习率对所述编码器的权重进行更新,包括:
5.如权利要求1所述的方法,其特征在于,在将不同肺部结构对应的训练集交替输入至所述肺叶分割模型之前,所述训练方法还包括:
6.如权利要求5所述的方法,其特征在于,所述使用任一肺部结构对所述肺部三维图像进行标注,以得到具有标注的肺部三维图像,包括:
7.如权利要求5所述的方法,其特征在于,所述对所述训练集中具有标注的肺部三维图像进行预处理,包括:
8.一种肺叶分割方法,其特征在于,包括:
