本发明属于图像分类，具体涉及一种多模态mri图像分类识别方法。
背景技术：
1、磁共振成像(magnetic resonance imaging，mri)技术通过捕捉人体内部组织中电子自旋共振现象，来生成人体内部结构的图像。mri技术具有非侵入性、无辐射和高分辨率等优点，在医学诊断和研究领域得到广泛应用。基于磁共振技术的成像方式有结构磁共振成像(structural magnetic resonance imaging，smri)、功能磁共振成像(functionalmagnetic resonance imaging，fmri)、弥散张量成像(diffusion tensor imaging，dti)、mra(磁共振血管造影)等，不同的成像方式提供了不同模态的图像。不同模态的脑部mri图像提供了大脑的不同互补信息，其中smri可以反映大脑的解剖结构，而fmri反映了大脑功能活动的变化。将smri和fmri结合起来可以更全面地了解大脑的信息，提高分类识别的准确性。为了有效利用smri和fmri的互补信息，研究者通常采用某种融合策略将smri和fmri特征进行融合，再使用具有统一学习目标的联合训练算法对不同模态的特征提取网络进行训练。然而，这样的多模态融合方法忽略了smri和fmri数据之间的分布差异，以及不同模态特征提取网络收敛速度的差异，导致了多模态融合模型性能降低。因此，设计一个能够有效融合不同模态信息的多模态mri分类识别方法成为目前亟待解决的技术问题。
技术实现思路
1、本发明的目的在于解决上述现有技术中的不足，提供了一种多模态mri图像分类识别方法。
2、本发明提出的一种多模态mri图像分类识别方法，包括以下具体步骤：
3、步骤1，获取带真实标签的脑部多模态mri数据集作为训练样本，包括smri数据和fmri数据；
4、步骤2，对获取的训练样本进行预处理；
5、步骤3，构建多模态mri数据分类识别模型；
6、步骤4，将预处理后的所述训练样本输入构建的多模态mri数据分类识别模型进行训练；
7、步骤5，获取待识别的多模态mri数据，对所述多模态数据进行预处理；
8、步骤6，将预处理后待识别的smri和fmri数据输入训练好的多模态mri分类识别模型，获取多模态mri数据分类识别结果。
9、优选的，所述步骤2中对获取的训练样本进行预处理包括：
10、将smri数据进行前连合-后联合原点校正、去除颈部、去除颅骨、图像配准、空间下采样，得到在一个标准化空间中统一分辨率的脑部图像作为smri预处理的结果；
11、将fmri数据进行切片时间层校正、头动校正、空间标准化、空间平滑、消除线性趋势、时间带通滤波、协变量回归、功能脑区划分、各个脑区所有体素平均时间序列提取、全脑功能连接矩阵构建，功能连接矩阵上三角提取与展开，得到代表脑区之间功能连接的一维向量作为fmri预处理的结果；
12、优选的，所述步骤3中构建多模态mri数据分类识别模型，包括特征提取模块，特征融合模块，分类模块；
13、所述特征提取模块采用3dcnn作为smri数据的特征提取网络采用dnn作为fmri数据的特征提取网络
14、所述特征融合模块将smri特征提取网络提取的特征向量zs和fmri特征提取网络提取的特征向量zf进行低秩张量多模态融合得到融合特征f；
15、
16、其中，zs，zf∈rd，分别表示为smri的第i个低秩权重因子，为fmri的第i个低秩权重因子，b表示为偏置向量，·表示为张量点乘，⊙表示为逐元素乘积；
17、所述分类模块使用支持向量机作为分类器对融合后的特征f进行分类，生成预测结果
18、进一步地，所述步骤4多模态mri数据分类识别模型的训练过程，具体包括如下步骤：
19、步骤4.1，初始化smri特征提取网络的参数θs和fmri征提取网络的参数θf，迭代次数t＝0；
20、步骤4.2，计算多模态mri数据识别模型的总体损失l；
21、步骤4.3，计算smri特征提取网络参数θs的梯度和fmri征提取网络的参数θf的梯度
22、
23、
24、步骤4.4，采用模型参数梯度l2范数的比值计算各模态对应的模型参数θs、θf的梯度差异比率
25、
26、
27、式中，||·||2为l2范数；
28、步骤4.5，计算smri特征提取网络参数θs的调节因子fmri特征提取网络参数θf的调节因子
29、
30、
31、式中，δ为调节系数；
32、步骤4.6，利用梯度动态调节算法更新smri特征提取网络的参数θs和fmri征提取网络的参数θf；
33、
34、
35、式中，为第t次迭代时smri特征提取网络的模型参数，为第t次迭代时fmri特征提取网络的模型参数，ξ为学习率，β1、β2为第一指数衰减率和第二指数衰减率，β1t、β1t-j为第一指数衰减率β1的t、t-j次方，β2t、β2t-j为第二指数衰减率β2的t、t-j次方，为为第j次迭代参数θs、θf调节因子；
36、步骤4.7，如果总体损失l小于设定阈值或者迭代次数t达到设定的最大值，则结束训练输出参数θs和θf；否则t＝t+1，并转到步骤4.2循环。
37、所述步骤4.2的总体损失l的计算公式为：
38、l＝lossclass+γlossdd
39、其中，lossclass为分类损失，lossdd为模态间分布差异损失，γ为平衡系数；
40、进一步，所述分类损失lossclass为：
41、
42、其中，ki为第i个样本的真实标签，为将第i个样本预测为第ki类样本得到的输出，为将第i个样本预测为第j类得到的输出，n为样本个数，δ为超参数；
43、进一步地，所述模态间分布差异损失lossdd为：
44、
45、其中，表示为从第i个样本的smri模态中提取的特征向量zs的第j个位置的值，表示为从第i个样本的fmri模态中提取的特征向量zf的第j个位置的值。
46、有益效果
47、本发明提出的一种多模态mri图像分类识别方法，在减小smri和fmri两种不同模态间分布差异的同时，可以减小不同模态收敛速度差异，有效地减轻了不同模态之间的异质性，充分利用了不同模态的互补性，得到了丰富的特征信息，提升了多模态mri图像分类识别模型的性能。
1.一种多模态mri图像分类识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种多模态mri图像分类识别方法，其特征在于，步骤2中，所述对获取的训练样本进行预处理包括：
3.根据权利要求1所述的一种多模态mri图像分类识别方法，其特征在于步骤3中构建多模态mri数据分类识别模型包括特征提取模块，特征融合模块，分类模块：
4.根据权利要求1所述的一种多模态mri图像分类识别方法，其特征在于，所述步骤4多模态mri数据分类识别模型的训练过程，具体包括如下步骤：
