本发明涉及直肠癌疗效评估系统领域，尤其是涉及基于数字多组学的直肠癌crt疗效评估系统和方法。
背景技术：
1、深度学习是目前人工智能领域用于图像识别和语音分析的最契合、应用最广泛的算法，其灵感来自于人类大脑的工作机制，是通过建立卷积神经网络对外部输入的数据进行自动化特征提取，从而能够使机器理解学习数据，获得信息并输出。目前，基于深度学习的人工智能已应用于各个行业领域，包括语音识别、人脸识别、车标识别、手写汉字识别等。近年来人工智能辅助医疗技术的产品研发也取得重大进展，如由谷歌大脑及verily公司研发的用于乳腺癌病理诊断的人工智能产品可达到89％的肿瘤定位准确率；浙江大学附属第一医院利用人工智能实现快速分析甲状腺b超中结节区域的位置和良恶性；中山大学中山眼科中心利用深度学习算法建立了cc-cruiser人工智能平台以协助筛查先天性白内障等。可见，通过对大量医学图像数据的深度学习能有效辅助临床医疗工作者进行疾病诊疗。
2、直肠癌是最常见的消化道恶性肿瘤之一，单纯的手术治疗效果往往不尽如人意。近年来，直肠癌术前同期新辅助放化疗(chemoradiotherapy，crt)越来越多地应用于直肠癌治疗中，crt能使肿瘤有不同程度的消退，依肿瘤退缩程度((tumor regressiongrading，trg)可分为0-3级，0级代表病理肿瘤全消(pathology completeresponse,pcr)。在crt结束后6-8周后行全系膜切除术，有助于提高手术切除率、减少局部复发率、延长生存期限等，并可使约16.7～30.0％的直肠癌患者达到pcr，该部分病人如能在术前通过特定技术手段筛选出来，可考虑采取非手术等待观察策略(wait-and-seepolicy)，即密切随访替代积极手术。实际上确有前瞻性队列研究结果支持，新辅助治疗达到临床完全缓解的直肠癌患者采取非手术密切随访，其5年生存率等预后指标与行手术切除的对照组无明显差异。因此，准确预测评估新辅助放化疗疗效对于局部晚期直肠癌患者，尤其是不能耐受手术、具有强烈保肛意愿的中低位直肠癌患者的临床决策具有重要指导意义，更进一步地，若能在患者接受新辅助治疗前即可实现对其疗效的准确预测，则能更好地实现直肠癌个体化治疗。
3、近年来大数据技术与医学影像辅助诊断的有机融合产生了新的影像组学方法，影像组学是指从影像(ct、mr、pet等)中高通量地提取大量影像信息，实现肿瘤分割、特征提取与模型建立，凭借对海量影像数据信息进行更深层次的挖掘、预测和分析来辅助医师做出最准确的诊断。浙江大学医学院孙晓南教授研究团队利用影像组学数据分析，在筛选出的48名直肠癌患者中，评估出其中11名患者能通过crt治疗使肿瘤达到pcr级别，而治疗后的病理结果分析亦正符合预期的结果，初步实现了直肠癌新辅助放化疗效果的定量化精准评估。而中国科学院自动化研究所田捷团队和广东省人民医院放射科刘在毅团队合作发表了结合ct影像、ct回报淋巴结阳性情况及血清标记物cea等特征信息构建并验证结直肠癌淋巴结转移术前预测模型的研究成果，和传统ct影像学评估方法相比，该预测模型将术前淋巴结预测准确率提高了14.8％。
4、术后标本的病理学结果是评估直肠癌新辅助放化疗疗效的金标准，但它需要通过手术切除才能获得，不适用于治疗前疗效评估。磁共振(mr)具有较高的空间分辨率与软组织分辨率，可以清晰显示肿瘤的侵犯深度。以及有无肠壁外静脉浸润等，是疗前评估放化疗疗效的优选影像检查手段。目前临床上通过临床实践和专业知识培养医生，由合格的医生人工审阅疗前、疗后mri图像，结合自身长期积累的临床诊断经验作出分析和诊断，其准确率不高，耗时长，工作持续时间有限。这种人工肉眼阅片方法与医生自身经验、工作状态、主观情绪等主观因素密切相关，容易产生漏诊、误诊、争议性。并且，疗后图像由于crt后肠壁纤维化、增厚、crt诱导的炎症浸润等因素导致辨识难度增加，也是难以准确评估疗效的一大原因。除此之外，培养一名合格的医师时间十分漫长，临床经验的积累更是不可或缺，而且在长时间的工作过程中难免会受主观情绪、工作状态的影响，这诸多因素都可能影响患者的治疗方案制定。
5、现有的利用影像组学单一评估直肠癌新辅助治疗疗效，关注点基本都在肿瘤区，而忽略了肠壁、肿瘤周围等肿瘤容易侵袭区的信息，但肿瘤的诊治难点正在于其侵袭性，所以用单一的肿瘤区影像评估疗效及有限的影像组学信息，准确度及可信度均有限制。
技术实现思路
1、本发明的目的就是为了克服上述现有技术存在利用影像组学单一评估直肠癌新辅助治疗疗效，准确度及可信度均有限制的缺陷而提供一种基于数字多组学的直肠癌crt疗效评估系统和方法。
2、本发明的目的可以通过以下技术方案来实现：
3、一种基于数字多组学的直肠癌crt疗效评估系统，包括：
4、图像获取单元，用于获取直肠癌患者进行crt治疗前的mri影像和对应的治疗后肿瘤消退等级标签；
5、图像标注单元，用于对图像获取单元获取的部分mri影像进行肿瘤区域、肿瘤外围区域及肠壁的人工标注；
6、自动分割单元，用于采用自动分割标注模型，根据图像标注单元的标注结果，输出所有mri影像的标注信息；
7、分子多组学特征获取单元，用于对直肠癌患者的组织进行分析，获取病理组学、基因组学和代谢组学的数字多组学分子特征；
8、卷积神经网络构造单元，用于构造第一卷积神经网络模型；
9、卷积神经网络模型训练单元，用于以图像获取单元获取的mri影像、分子多组学特征获取单元获取的数字多组学分子特征、自动分割单元输出的mri影像的标注信息作为输入数据，以对应的治疗后肿瘤消退等级标签计算输出的损失函数，对所述第一卷积神经网络模型的参数进行迭代训练，获得用于评估直肠癌crt疗效的第二卷积神经网络模型；
10、图像分类单元，用于将待预测的crt治疗前的mri影像输入第二卷积神经网络模型中，预测治疗后肿瘤消退等级以及相应的概率。
11、进一步地，所述图像获取单元还用于将获取的mri影像划分为训练集和测试集，所述训练集用于第一卷积神经网络模型的训练；
12、所述系统还包括卷积神经网络模型验证单元，用于验证所述第二卷积神经网络模型的准确率，获取第三卷积神经网络模型；
13、所述卷积神经网络模型验证单元包括：
14、卷积神经网络模型测试单元，用于检测第二卷积神经网络模型在测试集上的准确率；
15、卷积神经网络模型评价单元，用于根据第二卷积神经网络模型测试单元输出的准确率评价第二卷积神经网络模型是否过拟合和欠拟合，若过拟合或欠拟合，则重新对第二卷积神经网络模型进行迭代训练；若无过拟合和欠拟合，则得到通过验证的第三卷积神经网络模型，用于评估直肠癌crt疗效。
16、进一步地，所述系统还包括患者筛选单元，用于对直肠癌患者进行纳入标准和排除标准的筛选，对筛选后的直肠癌患者通过图像获取单元和分子多组学特征获取单元进行数据获取；
17、所述纳入标准包括：
18、(i)经活检确认的原发性直肠癌，并有活检病理图像；
19、(ii)治疗前经由mri确定的局部晚期；
20、(iii)在接受新辅助治疗前没有进行过其它治疗；
21、(iv)全系膜切除术是新辅助治疗完成后进行的，肿瘤退缩程度分级由术后肿瘤大体病理检查证实；
22、所述排除标准包括：
23、(i)缺失活检病理图像；
24、(ii)没有治疗前mri影像或序列不全；
25、(iii)未完成新辅助治疗，或在外院完成新辅助治疗；
26、(iv)新辅助治疗后未在本院接受手术，没有术后大体病理结果；
27、(v)合并/既往有其他癌种，或初诊/术前/复发转移。
28、进一步地，所述图像分类单元包括：
29、待检区域筛选单元，用于在输入的待预测的crt治疗前的mri影像中，预选出活体组织区域，并以活体组织区域的重心为中心，框选出待检测区域；
30、待检区域检测单元，用于对待检测区域采用第二卷积神经网络模型进行分类检测，得到治疗后肿瘤消退等级的预测结果以及相应的概率。
31、进一步地，所述待检区域筛选单元采用自适应阈值法预选出活体组织区域。
32、进一步地，所述自动分割单元采用的自动分割标注模型为yolo-nas模型，采用图像标注单元的标注结果对yolo-nas模型进行模型训练，选用训练好的yolo-nas模型获取所有mri影像的标注信息。
33、进一步地，所述系统分别连接有输入终端和输出终端，所述输入终端用于从服务器中获取与局部晚期直肠癌患者相关联的病例数据；所述输出终端用于将直肠癌crt疗效评估结果呈现给用户。
34、本发明还提供一种基于数字多组学的直肠癌crt疗效评估方法，包括以下步骤：
35、采集直肠癌患者进行crt治疗前的mri影像和对应的治疗后肿瘤消退等级标签；
36、对获取的部分mri影像进行肿瘤区域、肿瘤外围区域及肠壁的人工标注；
37、根据部分mri影像的人工标注结果，对自动分割标注模型进行模型训练，采用训练好的自动分割标注模型获取所有mri影像的标注信息；
38、收集直肠癌患者的直肠癌组织，进行病理组学分析、基因组学和代谢组学的高通量测序，获取病理组学、基因组学和代谢组学的数字多组学分子特征；
39、构建第一卷积神经网络模型，采用mri影像对应的标注信息、数字多组学分子特征和治疗后肿瘤消退等级标签，对第一卷积神经网络模型进行模型训练，获得用于评估直肠癌crt疗效的第二卷积神经网络模型；
40、将待预测的crt治疗前的mri影像输入第二卷积神经网络模型中，预测治疗后肿瘤消退等级以及相应的概率。
41、进一步地，所述第一卷积神经网络模型中全连接层输出的通道分别代表各个治疗后肿瘤消退等级的概率；
42、所述第一卷积神经网络模型的训练过程中，采用具有高速并行计算的gpu进行训练，采用sgd来进行网络权重的更新。
43、进一步地，所述方法还包括：将采集的mri影像划分为训练集和测试集，所述训练集用于第一卷积神经网络模型的训练；
44、采用测试集检验第二卷积神经网络模型的准确率；
45、根据第二卷积神经网络模型测试单元输出的准确率评价第二卷积神经网络模型是否过拟合和欠拟合，若过拟合或欠拟合，则重新对第二卷积神经网络模型进行迭代训练；若无过拟合和欠拟合，则得到通过验证的第三卷积神经网络模型，用于评估直肠癌crt疗效。
46、与现有技术相比，本发明具有以下优点：
47、(1)本发明优化了人工评估直肠癌crt疗效评估的方式，利用深度学习算法在图像识别、图像分割和多组学联合建模的优势，让计算机进行大数据级别的直肠癌疗前mri图像的yolo-nas自动分割，得到肿瘤区域、肿瘤外围区域及肠壁的标注信息，并将带标注的影像信息联合数字多组学分子特征进行深度学习，从而训练出能模拟影像学医生疗效评估并与之媲美的智能化神经网络模型。
48、本发明的直肠癌术前同期新辅助放化疗疗效自动评估系统考虑了肠壁、肿瘤周围等肿瘤容易侵袭区的信息，以及直肠癌新鲜组织的分子多组学信息进行直肠癌crt疗效评估，具有适用性广、准确率高、耗时短且工作持续时间长、客观、立体等诸多优点。
49、(2)本发明能协助医生实现疗前准确评估疗效、术前预测pcr，在各大医院包括三甲、基层医院的推广和云端服务化将有助于解决医疗资源分配不均匀、实现远程优质医疗等，为广大患者辅助提供更便捷、更准确的个体化治疗方案。
1.一种基于数字多组学的直肠癌crt疗效评估系统，其特征在于，包括：
2.根据权利要求1所述的一种基于数字多组学的直肠癌crt疗效评估系统，其特征在于，所述图像获取单元(102)还用于将获取的mri影像划分为训练集和测试集，所述训练集用于第一卷积神经网络模型的训练；
3.根据权利要求1所述的一种基于数字多组学的直肠癌crt疗效评估系统，其特征在于，所述系统还包括患者筛选单元(101)，用于对直肠癌患者进行纳入标准和排除标准的筛选，对筛选后的直肠癌患者通过图像获取单元(102)和分子多组学特征获取单元(103)进行数据获取；
4.根据权利要求1所述的一种基于数字多组学的直肠癌crt疗效评估系统，其特征在于，所述图像分类单元包括：
5.根据权利要求4所述的一种基于数字多组学的直肠癌crt疗效评估系统，其特征在于，所述待检区域筛选单元(107)采用自适应阈值法预选出活体组织区域。
6.根据权利要求1所述的一种基于数字多组学的直肠癌crt疗效评估系统，其特征在于，所述自动分割单元(106)采用的自动分割标注模型为yolo-nas模型，采用图像标注单元(105)的标注结果对yolo-nas模型进行模型训练，选用训练好的yolo-nas模型获取所有mri影像的标注信息。
7.根据权利要求1所述的一种基于数字多组学的直肠癌crt疗效评估系统，其特征在于，所述系统分别连接有输入终端和输出终端，所述输入终端用于从服务器中获取与局部晚期直肠癌患者相关联的病例数据；所述输出终端用于将直肠癌crt疗效评估结果呈现给用户。
8.一种基于数字多组学的直肠癌crt疗效评估方法，其特征在于，包括以下步骤：
9.根据权利要求8所述的一种基于数字多组学的直肠癌crt疗效评估方法，其特征在于，所述第一卷积神经网络模型中全连接层输出的通道分别代表各个治疗后肿瘤消退等级的概率；
10.根据权利要求8所述的一种基于数字多组学的直肠癌crt疗效评估方法，其特征在于，所述方法还包括：将采集的mri影像划分为训练集和测试集，所述训练集用于第一卷积神经网络模型的训练；
