本发明涉及图像分类识别，具体涉及一种面向脑磁共振影像数据的多模态融合方法、系统及介质。
背景技术：
1、脑部磁共振影像数据能够捕获被试的大脑结构和功能神经模式，因此被广泛应用于脑异常模式的筛查和辅助诊断。其中，脑部结构磁共振影像具有高分辨率的空间结构特征，而功能磁共振影像数据能够捕获功能随时序变化的模式。目前有许多基于深度学习的方法来实现利用脑磁共振影像数据进行脑异常模式的分类，但是几乎所有的方法都是面向单一模态的脑磁共振影像数据构建的。尽管在单一模态的脑磁共振影像数据中的预测分类任务中常常能取得令人欣喜的结果，但是大量的脑异常模式往往是结构和时序模式耦合在一起的。而仅依靠单一模态数据训练的编码模型难以将空间结构信息和时序模式信息有效的融合，这使得模型无法对时空耦合的异常模式进行编码分类。
2、多模态磁共振数据融合方法有望实现时空特征融合并提升模型性能。目前仅有少数研究尝试将结构磁共振影像数据和功能磁共振影像数据在特征空间进行融合，在一定程度上进一步提高了多模态融合分类模型的性能。但是由于空间结构特征和时序模式信号在特征空分布差异，这使得两种模态的编码特征在隐空间中的对齐方法变得至关重要。此外，如何将空间结构特征与其对应的时序模式准确有效的融合，编码出有效的时空融合特征，更是实现多模态磁共振数据融合和模型性能提升的关键。因此，亟需一种能够面向多模态磁共振影像数据的特征编码和融合方法，同时利用被试的脑部空间结构特征和功能时序模式，提取时空融合的特征并提升对其脑异常模式的分类性能。
技术实现思路
1、本发明要解决的技术问题：针对现有技术的上述问题，提供一种面向脑磁共振影像数据的多模态融合方法、系统及介质，本发明旨在充分利用被试的脑部结构磁共振影像数据和功能磁共振影像数据，有效编码时空融合特征，提升多模态融合分类模型的性能。
2、为了解决上述技术问题，本发明采用的技术方案为：
3、一种面向脑磁共振影像数据的多模态融合方法，包括将待分类的脑磁共振影像数据输入预先训练好的多模态融合分类模型以获得分类结果，所述待分类的脑磁共振影像数据包括功能磁共振影像数据和结构磁共振影像数据，所述多模态融合分类模型包括功能磁共振影像特征编码模块、结构磁共振影像特征编码模块、双分支交叉注意力特征融合模块和分类器模块，所述功能磁共振影像特征编码模块用于将功能磁共振影像数据编码为初级特征，所述结构磁共振影像特征编码模块用于将结构磁共振影像数据编码为初级特征，所述双分支交叉注意力特征融合模块用于将两种模态数据的初级特征在相同的隐空间中进行交互融合以获得融合特征，所述分类器模块用于基于融合特征进行分类得到分类结果；
4、所述功能磁共振影像特征编码模块输出的初级特征包括功能相关性特征和各个脑区的时序信号，所述结构磁共振影像特征编码模块输出的初级特征为结构像初级特征；所述将两种模态数据的初级特征在相同的隐空间中进行交互融合以获得融合特征包括：将结构像初级特征和各个脑区的时序信号分别添加可学习的位置编码信息和分类信息得到结构初级注意力特征和功能初级注意力特征；对结构初级注意力特征单独进行单模态的注意力特征提取得到结构单模态注意力特征，对功能初级注意力特征进行单模态的注意力特征提取得到功能单模态注意力特征；采用p层串联的多模态融合层来对结构初级注意力特征和功能初级注意力特征多模态融合，其中前p/2层均采用两个多头注意力嵌入网络msa以分别用于对输入的结构初级注意力特征或功能初级注意力特征的特征提取，后p/2层基于交叉注意力特征进行多模态特征交互融合；将p层串联的多模态融合层最终得到的特征与结构单模态高阶特征、功能单模态高阶特征拼接，再与功能相关性特征经过线性映射层得到的高阶特征通过维度上的拼接操作concat得到融合特征。
5、可选地，所述将功能磁共振影像数据编码为初级特征包括：将功能磁共振影像数据采用脑图谱划分脑区，从而得到各个脑区的时序信号；计算各个脑区的时序信号的皮尔逊相关系数得到全脑的功能相关性矩阵，再将全脑的功能相关性矩阵进行向量展平得到功能相关性特征和各个脑区的时序信号作为功能磁共振影像特征编码模块输出的初级特征。
6、可选地，所述结构磁共振影像特征编码模块为一维卷积网络，所述一维卷积网络包括批量归一化和激活函数层以及多个卷积分支，每一个卷积分支包括一个卷积层和一个线性层，所述将结构磁共振影像数据编码为初级特征包括：将结构磁共振影像数据采用脑图谱划分脑区，将每一个脑区的信号输入对应的卷积分支，然后将多个卷积分支通过批量归一化和激活函数层处理得到结构像初级特征作为结构磁共振影像特征编码模块输出的初级特征。
7、可选地，所述将结构像初级特征和各个脑区的时序信号分别添加可学习的位置编码信息和分类信息得到结构初级注意力特征和功能初级注意力特征的函数表达式为：
8、，
9、，
10、上式中，为结构初级注意力特征，为维度上的拼接操作，和为可学习的分类令牌，为拼接，和为可学习的位置编码信息；为功能初级注意力特征。
11、可选地，所述前p/2层均采用两个多头注意力嵌入网络msa以用于对输入的结构初级注意力特征或功能初级注意力特征的特征提取的函数表达式为：
12、，
13、，
14、上式中，为第p层多模态融合层输出的结构初级注意力特征，为第p层多模态融合层输出的功能初级注意力特征，和为多头注意力嵌入网络msa，为第p层多模态融合层输入的结构初级注意力特征，为第p层多模态融合层输入的功能初级注意力特征，且第1层多模态融合层输入的结构初级注意力特征为将结构像初级特征添加可学习的位置编码信息和分类信息得到结构初级注意力特征，第1层多模态融合层输入的功能初级注意力特征为将各个脑区的时序信号分别添加可学习的位置编码信息和分类信息得到的功能初级注意力特征，且有，为多模态融合层的层数，所述多头注意力嵌入网络msa的函数表达式为：
15、，
16、上式中，为多头注意力嵌入网络msa对输入向量x得到的输出，为注意力机制，为查询矩阵，为键值矩阵，为权值矩阵，查询矩阵、键值矩阵和权值矩阵均为具有可学习参数的嵌入网络模型。
17、可选地，所述后p/2层基于交叉注意力特征进行多模态特征交互融合的函数表达式为：
18、，
19、，
20、上式中，为第p层多模态融合层输出的结构交互融合特征，为第p-1层多模态融合层输出的结构初级注意力特征，为第p-1层多模态融合层输出的功能初级注意力特征，为交叉注意力嵌入网络，为正则化层，为中间特征，为第p层多模态融合层输出的功能交互融合特征，且有：
21、，
22、上式中，为拼接；
23、所述交叉注意力嵌入网络的函数表达式为：
24、，
25、上式中，为多头注意力嵌入网络msa对输入向量x和y得到的输出，为交叉注意力机制，为查询矩阵，为键值矩阵，为权值矩阵，查询矩阵、键值矩阵和权值矩阵均为具有可学习参数的嵌入网络模型；第p层多模态融合层输出的结构交互融合特征和功能交互融合特征由分类令牌特征部分和交叉注意力特征部分两部分组成：
26、，
27、，
28、上式中，和分别为结构交互融合特征中的分类令牌特征部分和交叉注意力特征部分，和分别为功能交互融合特征中的分类令牌特征部分和交叉注意力特征部分；所述将p层串联的多模态融合层得到的特征与结构单模态高阶特征、功能单模态高阶特征拼接，再与功能相关性特征经过线性映射层得到的高阶特征通过维度上的拼接操作concat得到融合特征的计算函数表达式为：
29、。
30、可选地，所述基于融合特征进行分类得到分类结果的函数表达式为：
31、，
32、上式中，为分类结果，为分类器模块，为融合特征；所述将待分类的脑磁共振影像数据输入预先训练好的多模态融合分类模型以获得分类结果之前还包括训练多模态融合分类模型，且训练多模态融合分类模型时，包括基于训练集和交叉熵损失构成的损失函数，采用梯度下降法实现多模态融合模型的网络参数更新，其中损失函数的函数表达式为：
33、，
34、上式中，为损失函数，表示期望值，分别为训练集中的功能磁共振影像数据样本、结构磁共振影像数据样本和标签，为交叉熵损失；所述采用梯度下降法实现多模态融合模型的网络参数更新的函数表达式为：
35、，
36、上式中，为更新后的网络参数，“”表示更新操作，为更新前的网络参数，为学习率，为网络参数的梯度，为损失函数。
37、此外，本发明还提供一种面向脑磁共振影像数据的多模态融合系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述面向脑磁共振影像数据的多模态融合方法。
38、此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序或指令，该计算机程序或指令被编程或配置以通过处理器执行所述面向脑磁共振影像数据的多模态融合方法。
39、此外，本发明还提供一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被编程或配置以通过处理器执行所述面向脑磁共振影像数据的多模态融合方法
40、和现有技术相比，本发明主要具有下述优点：本发明方法包括同时利用数据集中同一被试的脑部结构磁共振影像数据和功能磁共振影像数据，利用脑图谱提取脑区级的空间结构特征和时序模式信号，使两种模态的特征能够在相同维度的隐空间对齐；构建了基于交叉注意力机制的多模态融合模块，有效编码了时空融合的特征；构建了多分支编码模型，在编码多模态特征的同时保留了单模态数据的自注意力特征，进一步丰富了隐空间中的特征信息。本发明能够有效融合脑部空间结构特征和功能时序模式，实现了编码时空特征，丰富了用于分类的特征信息，提升了模型在多模态脑磁共振影像数据进行脑异常的分类性能。
1.一种面向脑磁共振影像数据的多模态融合方法，其特征在于，包括将待分类的脑磁共振影像数据输入预先训练好的多模态融合分类模型以获得分类结果，所述待分类的脑磁共振影像数据包括功能磁共振影像数据和结构磁共振影像数据，所述多模态融合分类模型包括功能磁共振影像特征编码模块、结构磁共振影像特征编码模块、双分支交叉注意力特征融合模块和分类器模块，所述功能磁共振影像特征编码模块用于将功能磁共振影像数据编码为初级特征，所述结构磁共振影像特征编码模块用于将结构磁共振影像数据编码为初级特征，所述双分支交叉注意力特征融合模块用于将两种模态数据的初级特征在相同的隐空间中进行交互融合以获得融合特征，所述分类器模块用于基于融合特征进行分类得到分类结果；
2.根据权利要求1所述的面向脑磁共振影像数据的多模态融合方法，其特征在于，所述将功能磁共振影像数据编码为初级特征包括：将功能磁共振影像数据采用脑图谱划分脑区，从而得到各个脑区的时序信号；计算各个脑区的时序信号的皮尔逊相关系数得到全脑的功能相关性矩阵，再将全脑的功能相关性矩阵进行向量展平得到功能相关性特征和各个脑区的时序信号作为功能磁共振影像特征编码模块输出的初级特征。
3.根据权利要求1所述的面向脑磁共振影像数据的多模态融合方法，其特征在于，所述结构磁共振影像特征编码模块为一维卷积网络，所述一维卷积网络包括批量归一化和激活函数层以及多个卷积分支，每一个卷积分支包括一个卷积层和一个线性层，所述将结构磁共振影像数据编码为初级特征包括：将结构磁共振影像数据采用脑图谱划分脑区，将每一个脑区的信号输入对应的卷积分支，然后将多个卷积分支通过批量归一化和激活函数层处理得到结构像初级特征作为结构磁共振影像特征编码模块输出的初级特征。
4.根据权利要求1所述的面向脑磁共振影像数据的多模态融合方法，其特征在于，所述将结构像初级特征和各个脑区的时序信号分别添加可学习的位置编码信息和分类信息得到结构初级注意力特征和功能初级注意力特征的函数表达式为：
5.根据权利要求1所述的面向脑磁共振影像数据的多模态融合方法，其特征在于，所述前p/2层均采用两个多头注意力嵌入网络msa以用于对输入的结构初级注意力特征或功能初级注意力特征的特征提取的函数表达式为：
6.根据权利要求1所述的面向脑磁共振影像数据的多模态融合方法，其特征在于，所述后p/2层基于交叉注意力特征进行多模态特征交互融合的函数表达式为：
7.根据权利要求1所述的面向脑磁共振影像数据的多模态融合方法，其特征在于，所述基于融合特征进行分类得到分类结果的函数表达式为：
8.一种面向脑磁共振影像数据的多模态融合系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～7中任意一项所述面向脑磁共振影像数据的多模态融合方法。
9.一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序或指令，其特征在于，该计算机程序或指令被编程或配置以通过处理器执行权利要求1～7中任意一项所述面向脑磁共振影像数据的多模态融合方法。
10.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被编程或配置以通过处理器执行权利要求1～7中任意一项所述面向脑磁共振影像数据的多模态融合方法。
