一种基于实体对与最短依赖路径的关系抽取方法及装置

    技术2025-02-25  57


    本发明涉及知识图谱,尤其是指一种基于实体对与最短依赖路径的关系抽取方法、装置及计算机可读存储介质。


    背景技术:

    1、随着生物医学文献的不断增多,如何更好地利用生物医学文献成为了一个难题。知识图谱是一个可以显示的展现不同实体之间关系的载体,通过知识图谱可以方便生物医学的相关工作者找到彼此之间的联系。而关系抽取作为制作知识图谱中不可缺少的一环,其本质就是对于句子中的两个实体进行相关信息的提取并判别关系。

    2、早期的关系抽取任务主要是依靠规则进行抽取关系,通过文本句法与语义模式来提取实体之间的关系,然而这种方式需要手动不断更新表达式的方式,且构建的规则可能只适用于当前任务。现有技术中提出的dimex使用正则表达式抽取突变和基因,再通过句子结构判断关系类型。紧接着,研究者采用机器学习的方法来自动识别实体并且来判断实体之间的关系。现有技术还提出使用全自动机器学习方法从生物医学文献库中识别与疾病相关的点突变并且判断关系,在其关系识别模型中加入统计特征、距离特征和情感特征等特征来帮助机器学习实体之间的关系。

    3、现如今,随着深度学习的出现,越来越多的研究者开始采取其方式进行关系抽取。如今的深度学习模型方面主要分为两类:(1)使用大规模的文本数据集进行预训练,学习语言的深层语义和句法信息的预训练语言模型。现有技术中基于bert模型,使用wikipedia和bookscorpus以及pubmed中的文章摘要进行训练,提出了biobert模型,也是目前使用最为广泛的医学预训练语言模型,另有研究人员则基于gpt-2和大量的生物领域特定数据进行预训练获得gpt变体即biogpt模型。(2)针对于特定任务,根据句子特征,添加实体信息特征、依赖特征等特征丰富关系信息的深度学习模型。现有技术中基于biobert使用实体间的跨文本内容来丰富实体关系信息。现有技术中还基于依赖树设计了一个依赖驱动的注意力卷积网络,分别考虑本地连接和全局连接,前者只使用实体依赖词如头词和孩子节点,而后者则考虑到实体对之间的联系,使用最短依赖路径作为连接节点。研究人员则提出了跨句子的n-arg的句子graph lstm,旨在将依赖关系通过长短时记忆网络进行传递信息。

    4、但是,现有模型在处理医学文本时,往往只使用了实体信息,而忽略了其他依赖信息对于实体信息的补充,且主要依赖单一的特征来源,未考虑到实体对之间的联系,限制了模型的预测的全面性和准确性。


    技术实现思路

    1、为此,本发明所要解决的技术问题在于克服现有模型过于依赖外部信息,而未做到对内部信息和外部信息结合,导致模型预测准确性不足的问题。

    2、为解决上述技术问题,本发明提供了一种基于实体对与最短依赖路径的关系抽取方法,包括:

    3、将多个句子输入至关系抽取模型的嵌入层,得到每个句子的词嵌入和句子嵌入;基于词嵌入获取每个句子的第一实体嵌入和第二实体嵌入,所述第一实体嵌入和第二实体嵌入构成实体对;将句子嵌入作为每个句子的上下文表示;

    4、获取每个句子中实体对的最短依赖路径并输入至关系抽取模型的嵌入层,得到最短依赖路径的嵌入;将最短依赖路径的嵌入输入至由多头注意力机制和一维卷积层组成的最短依赖路径处理模块,得到最短依赖路径表示;

    5、将每个句子的第一实体嵌入、第二实体嵌入和最短依赖路径表示融合后得到每个句子的融合特征;将每个句子的融合特征与上下文表示融合后得到每个句子的句子语义信息;

    6、将多个句子的融合特征输入至图神经网络,以融合特征作为节点,构建实体对图,得到每个句子的图拓扑信息;

    7、将每个句子的句子语义信息和图拓扑信息融合后输入至分类层,输出每个句子的预测分类概率,对句子进行分类。

    8、优选地,采用biobert作为关系抽取模型的嵌入层。

    9、优选地,将多个句子输入至关系抽取模型的嵌入层,得到实体嵌入的公式为:

    10、;

    11、其中,表示实体嵌入,表示实体开始的位置,表示实体结束的位置,表示嵌入层输出的词嵌入;为线性变化层和dropout层。

    12、优选地,每个句子中实体对的最短依赖路径的获取过程包括:

    13、利用scispacy工具包对每个句子分词后进行词性分析,获得句子中单词之间的依存关系,得到以root为根节点的依存树;使用广度优先算法从依存树的根节点出发找到每个句子中实体对的位置,并根据路径计算出每个句子中实体对的最短依赖路径。

    14、优选地,将最短依赖路径的嵌入输入至由多头注意力机制和一维卷积层组成的最短依赖路径处理模块,得到最短依赖路径表示,公式为:

    15、;

    16、其中,为最短依赖路径表示,为最短依赖路径的嵌入,表示多头注意力机制,表示一维卷积层。

    17、优选地,将每个句子的融合特征与上下文表示融合后得到每个句子的句子语义信息,公式为:

    18、;

    19、其中,为句子语义信息,为上下文表示,为融合特征,fclayer为线性变化层和dropout层,为拼接操作。

    20、优选地,所述图神经网络表示为,其中为融合特征构成的节点集,表示邻接矩阵;如果两个融合特征的实体对之间具有相同的实体,则将邻接矩阵中表示这两个融合特征之间连接关系的元素设置为1;

    21、将多个句子的融合特征输入至图神经网络,以融合特征作为节点,构建实体对图,得到每个句子的图拓扑信息,公式为:

    22、;

    23、其中,为图拓扑信息,为融合特征,表示图神经网络。

    24、优选地,将每个句子的句子语义信息和图拓扑信息融合后输入至分类层,输出每个句子的预测分类概率,对句子进行分类,公式为:

    25、;

    26、其中,表示目标类别,表示每个类别的预测概率分布,表示目标类别的预测分类概率,表示softmax函数,表示线性变换层,表示噪音,为句子语义信息,为图拓扑信息。

    27、本发明还提供了一种基于实体对与最短依赖路径的关系抽取装置,包括:

    28、嵌入模块,用于将多个句子输入至关系抽取模型的嵌入层,得到每个句子的词嵌入和句子嵌入;基于词嵌入获取每个句子的第一实体嵌入和第二实体嵌入,所述第一实体嵌入和第二实体嵌入构成实体对;将句子嵌入作为每个句子的上下文表示;

    29、最短依赖路径生成模块,用于获取每个句子中实体对的最短依赖路径并输入至关系抽取模型的嵌入层,得到最短依赖路径的嵌入;将最短依赖路径的嵌入输入至由多头注意力机制和一维卷积层组成的最短依赖路径处理模块,得到最短依赖路径表示;

    30、融合模块,用于将每个句子的第一实体嵌入、第二实体嵌入和最短依赖路径表示融合后得到每个句子的融合特征;将每个句子的融合特征与上下文表示融合后得到每个句子的句子语义信息;

    31、图神经网络模块,用于将多个句子的融合特征输入至图神经网络,以融合特征作为节点,构建实体对图,得到每个句子的图拓扑信息;

    32、分类模块,用于将每个句子的句子语义信息和图拓扑信息融合后输入至分类层,输出每个句子的预测分类概率,对句子进行分类。

    33、本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述一种基于实体对与最短依赖路径的关系抽取方法的步骤。

    34、本发明的上述技术方案相比现有技术具有以下有益效果:

    35、本发明所述的一种基于实体对与最短依赖路径的关系抽取方法,通过最短依赖路径处理模块提取最短路径的嵌入的特征,能够获取更加准确的最短依赖路径信息,并且将每个句子中的第一实体嵌入、第二实体嵌入和最短依赖路径表示融合得到每个句子的融合特征,在图神经网络中以每个句子的融合特征为节点,构建实体对图,将实体信息和最短依赖路径信息传递出去,有助于相同实体进行学习利用。本发明将最短依赖路径与实体对图相结合,克服了现有模型过于依赖外部信息,而未做到对内部信息和外部信息结合的问题,通过实体对图使得实体对之间互相学习实体信息和上下文信息,并且使用最短依赖路径作为其中特征,有效地利用了句子的上下文信息,进而能从上下文信息中取得更加有效的关系信息,显著提高了句子分类预测的准确性和可靠性。本发明对于医学文献的多分类问题有着较好的效果,针对于多种医学关系,都获得了较好的分类效果,这将有助于知识图谱的构建,具有广阔的发展前景和应用潜力。


    技术特征:

    1.一种基于实体对与最短依赖路径的关系抽取方法,其特征在于,包括:

    2.根据权利要求1所述的一种基于实体对与最短依赖路径的关系抽取方法,其特征在于,采用biobert作为关系抽取模型的嵌入层。

    3.根据权利要求1所述的一种基于实体对与最短依赖路径的关系抽取方法,其特征在于,将多个句子输入至关系抽取模型的嵌入层,得到实体嵌入的公式为:

    4.根据权利要求1所述的一种基于实体对与最短依赖路径的关系抽取方法,其特征在于,每个句子中实体对的最短依赖路径的获取过程包括:

    5.根据权利要求1所述的一种基于实体对与最短依赖路径的关系抽取方法,其特征在于,将最短依赖路径的嵌入输入至由多头注意力机制和一维卷积层组成的最短依赖路径处理模块,得到最短依赖路径表示,公式为:

    6.根据权利要求1所述的一种基于实体对与最短依赖路径的关系抽取方法,其特征在于,将每个句子的融合特征与上下文表示融合后得到每个句子的句子语义信息,公式为:

    7.根据权利要求1所述的一种基于实体对与最短依赖路径的关系抽取方法,其特征在于,所述图神经网络表示为,其中为融合特征构成的节点集,表示邻接矩阵;如果两个融合特征的实体对之间具有相同的实体,则将邻接矩阵中表示这两个融合特征之间连接关系的元素设置为1;

    8.根据权利要求1所述的一种基于实体对与最短依赖路径的关系抽取方法,其特征在于,将每个句子的句子语义信息和图拓扑信息融合后输入至分类层,输出每个句子的预测分类概率,对句子进行分类,公式为:

    9.一种基于实体对与最短依赖路径的关系抽取装置,其特征在于,包括:

    10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述一种基于实体对与最短依赖路径的关系抽取方法的步骤。


    技术总结
    本发明涉及知识图谱技术领域,尤其是指一种基于实体对与最短依赖路径的关系抽取方法、装置及计算机可读存储介质,包括:构建关系抽取模型;将多个句子输入至嵌入层,得到每个句子的第一实体嵌入、第二实体嵌入和上下文表示;利用最短依赖路径处理模块生成最短依赖路径表示;获取每个句子的融合特征和句子语义信息;将多个句子的融合特征输入至图神经网络,得到每个句子的图拓扑信息;将每个句子的句子语义信息和图拓扑信息融合后输入至分类层,对句子进行分类。本发明将最短依赖路径与实体对图相结合,通过实体对图使得实体对之间互相学习实体信息和上下文信息,有效地利用了句子的上下文信息,显著提高了句子分类预测的准确性和可靠性。

    技术研发人员:郑子轩,严文颖,杨洋
    受保护的技术使用者:苏州大学
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-26811.html

    最新回复(0)