基于Transformer和3DCNN的脑血氧信号异常检测系统

    技术2026-08-16  10


    本发明属于自学习,更具体地,本发明涉及一种基于transformer和3dcnn的脑血氧信号异常检测系统。


    背景技术:

    1、功能磁共振成像(fmri)是一种利用血液中的血红蛋白对磁场的敏感性来观察和测量大脑或脊髓等部位在执行特定任务或处于静息状态时功能活动的神经影像技术。更具体地说,它测量大脑中的血氧水平依赖性(bold)水平,作为可视化大脑中不同水平氧气使用情况的一种方式。有多种类型的功能磁共振成像技术可用于测量言语、视觉提示等过程中的大脑活动。

    2、由于测量限制,fmri的空间分辨率低于传统mri,但是,fmri还有另一个时间维度可以提供额外的信息进行分析。fmri的时间成分可用于测量大脑中bold信号的异常情况。通过与深度学习技术相结合,这将允许快速分析大型功能磁共振成像数据集以检测大脑各区域的异常活动。

    3、现有的深度学习方法在fmri影像中的应用大多采用cnn架构的网络,以cnn为基础架构的网络通常没有时序建模的能力,所以它们在完全忽视了fmri影像上的时序信息。同时,cnn通过局部感受野和池化操作来捕捉图像中的局部特征。虽然多层次的卷积可以扩大感受野,但cnn可能难以有效地捕捉到跨整个输入的长距离依赖关系,尤其是在处理序列数据或需要全局上下文理解的任务中。


    技术实现思路

    1、本发明提供一种基于transformer和3dcnn的脑血氧信号异常检测系统,旨在改善上述问题。

    2、本发明是这样实现的,一种基于transformer和3dcnn的脑血氧信号异常检测系统,所述系统包括:

    3、依次连接的输入单元、处理器及输出单元,其中,处理器上集成有训练好的pm-conformer网络模型;

    4、输入单元,用于输入采集到的功能磁共振成像fmri影像数据,发送至处理器;pm-conformer网络模型识别当前功能磁共振成像fmri影像数据对应的血氧信号是否正常,并通过输出单元对识别结果进行输出。

    5、进一步的,pm-conformer网络模型包括:

    6、依次连接的自适应池化层、bn层、卷积层及relu激活函数,空间特征提取模块sfe、时序特征提取模块tfe、扁平化层及线性分类器;

    7、其中,空间特征提取模块sfe用于提取功能磁共振成像功能磁共振成像fmri影像数据中所有帧图像的空间特征,时序特征提取模块tfe用于提取时序特征。

    8、进一步的,空间特征提取模块sfe由fc-pvt模块、msr-rdb模块以及连接fc-pvt模块、msr-rdb模块的信息融合单元组成;

    9、其中,fc-pvt模块用于提取全局的空间特征,msr-rdb模块用于提取局部的空间特征,信息融合单元用于将提取到的全局空间特征与局部空间特征进行融合。

    10、进一步的,fc-pvt模块包括:

    11、依次连接的分块嵌入模块、位置编码模块,第一层归一化layernorm、fc-sr组件、多头注意力模块、第一残差连接模块,第二层归一化layernorm、前馈层及第二残差连接模块;第一层归一化layernorm的输出与多头注意力模块直接连接,多头注意力模块与位置编码模块的输出通过第一残差模块连接,前馈层的输出与第一残差模块的输出通过第二残差模块连接。

    12、进一步的,msr-rdb模块包括:

    13、第一个分支结构包括依次连接的第一3×3卷积层、第一relu激活函数、第一稠密连接模块、第二3×3卷积层、第二relu激活函数及第二稠密连接模块,relu激活函数输出的浅层特征输入第一稠密连接模块、第二稠密连接模块,第一稠密连接模块的输出连接第二稠密连接模块的输入;

    14、第二个分支结构包括:第三3×3卷积层、第三relu激活函数、3×3空洞卷积层及第四relu激活函数;

    15、第三个分支结构包括一个最大池化;

    16、第一个分支结构与第二个分支结构的输出通过concat层连接,concat层依次连接1×1卷积层、第五relu激活函数、第一残差连接模块、第四3×3卷积层、第六relu激活函数及第二残差连接模块,浅层特征输入第一残差连接模块,第三个分支结构的输出输入至第二残差连接模块。

    17、进一步的,信息融合单元包括:

    18、依次连接的1×1卷积层、第一relu激活函数、3×3卷积层及第二relu激活函数。

    19、进一步的,时序特征提取模块tfe包括:

    20、依次连接的位置编码模块、fc-sr组件、多头注意力模块、第一残差连接模块,第一层归一化layernorm,前馈层、第二残差连接模块及第二层归一化layernorm;fc-sr组件的输出与第一残差连接模块连接,第一层归一化layernorm的输出连接第二残差连接模块。

    21、进一步的,所述fc-sr组件为一个。

    22、进一步的,所述fc-sr组件包括:

    23、第一分支结构包括:3×3卷积层与relu激活函数连接,relu激活函数、平均池化层与残差连接模块连接;

    24、第二分支结构包括:最大池化层;

    25、残差连接模块、最大池化层通过concat层连接,concat层依次连接1×1卷积层、relu激活函数。

    26、本发明通过结合transformer和cnn来构建网络可以有效提取fmri影像空间中的局部与全局信息,同时还可以对fmri时序信息进行建模,提高对fmri影像中不同维度信息的利用,满足对脑血氧信号异常的检测的要求。



    技术特征:

    1.一种基于transformer和3dcnn的脑血氧信号异常检测系统,其特征在于,所述系统包括:

    2.如权利要求1所述基于transformer和3dcnn的脑血氧信号异常检测系统,其特征在于,pm-conformer网络模型包括:

    3.如权利要求2所述基于transformer和3dcnn的脑血氧信号异常检测系统,其特征在于,空间特征提取模块sfe由fc-pvt模块、msr-rdb模块以及连接fc-pvt模块、msr-rdb模块的信息融合单元组成;

    4.如权利要求3所述基于transformer和3dcnn的脑血氧信号异常检测系统,其特征在于,fc-pvt模块包括:

    5.如权利要求3所述基于transformer和3dcnn的脑血氧信号异常检测系统,其特征在于,msr-rdb模块包括:

    6.如权利要求3所述基于transformer和3dcnn的脑血氧信号异常检测系统,其特征在于,信息融合单元包括:

    7.如权利要求3所述基于transformer和3dcnn的脑血氧信号异常检测系统,其特征在于,时序特征提取模块tfe包括:

    8.如权利要求4或7所述基于transformer和3dcnn的脑血氧信号异常检测系统,其特征在于,所述fc-sr组件为一个。

    9.如权利要求4或7所述基于transformer和3dcnn的脑血氧信号异常检测系统,其特征在于,所述fc-sr组件包括:


    技术总结
    本发明公开一种基于Transformer和3DCNN的脑血氧信号检测异常系统,包括:依次连接的输入单元、处理器及输出单元,其中,处理器上集成有训练好的PM‑Conformer网络模型;输入单元,用于输入采集到的功能磁共振成像fMRI影像数据,发送至处理器;PM‑Conformer网络模型识别当前功能磁共振成像fMRI影像数据对应的血氧信号是否正常,并通过输出单元对识别结果进行输出。通过结合Transformer和CNN来构建网络可以有效提取fMRI影像空间中的局部与全局信息,同时还可以对fMRI时序信息进行建模,提高对fMRI影像中不同维度信息的利用,满足对脑血氧异常的检测的要求。

    技术研发人员:赵善辉,孙道清,刘子凡,朱赛赛,丁巧,游宇,陈付龙
    受保护的技术使用者:安徽师范大学
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-46966.html

    最新回复(0)