基于深度双仿射注意力机制的实体关系联合抽取方法与流程

    技术2024-11-28  17


    本申请涉及自然文本处理,特别涉及一种基于深度双仿射注意力机制的实体关系联合抽取方法。


    背景技术:

    1、从自然语言文本中共同抽取实体及其对应的关系是信息抽取任务中的一项关键任务,并且符合实际的应用环境。其中多关系抽取是实体关系抽取任务中的一个常见问题。

    2、常见的实体关系抽取方法是基于管道式的框架,即将实体识别和关系提取作为两个独立的子模型。近年来,基于联合框架抽取实体和关系的端到端系统被提出,即将实体识别和关系提取统一在一个模型中,并且取得了较高的性能。传统的联合学习方法是基于特征的监督学习方法,此类方法基于外部nlp工具和知识库资源,采用大量句法和词汇特征。随着神经网络的发展,神经网络被大量用于实体关系抽取。在现有实体关系联合抽取模型中,大部分使用双向长短期记忆网络(bi-lstm)作为特征抽取器。

    3、然而,双向长短期记忆网络的特征抽取识别能力在一些语言场景下效果较差。


    技术实现思路

    1、本申请关于基于深度双仿射注意力机制的实体关系联合抽取方法,能够提高对于文本内容的特征提取能力,方法应用于计算机设备中,该方法包括:

    2、获取目标文本;

    3、将目标文本输入实体关系抽取模型,输出得到与目标文本对应的实体关系抽取结果,实体关系抽取结果中包括文本单元识别结果以及与文本单元识别结果对应的单元内容识别结果,文本单元识别结果与单元内容识别结果相对应,文本单元识别结果用于指示从目标文本中截取的文本内容,单元内容识别结果用于指示与文本单元识别结果对应的语素识别结果;

    4、其中,关系抽取模型为基于深度双仿射注意力机制的机器学习模型。

    5、在一个可选的实施例中,实体关系抽取模型包括特征抽取模块、实体识别模块以及关系分类模块;

    6、将目标文本输入实体关系抽取模型,输出得到与目标文本对应的实体关系抽取结果,包括:

    7、将目标文本输入实体关系抽取模型中的特征抽取模块,输出得到与目标文本对应的文本特征,文本特征实现为词特征、词组特征以及句特征中的至少一种;

    8、将目标文本输入实体识别模块,输出得到与文本特征对应的实体;

    9、识别结果,实体识别结果与文本特征对应;

    10、将文本特征以及实体识别结果输入关系分类模块,输出得到与目标文本对应的单元内容识别结果。

    11、在一个可选的实施例中,特征抽取模块为基于bert预训练的语言模型;

    12、特征抽取模块包括文本嵌入层、变换器transformer编码器层和任务层;

    13、其中,transformer编码器层包括多头自注意层、残差连接层以及前馈网络层。

    14、在一个可选的实施例中,文本嵌入层包括词嵌入模块、位置嵌入模块以及类型嵌入模块;

    15、词嵌入模块与词特征向量关联;

    16、位置嵌入模块与词序信息特征向量关联;

    17、类型嵌入模块与输入序列特征向量关联。

    18、在一个可选的实施例中,实体识别模块为基于bio标记法的文本识别模块;

    19、实体识别模块基于最小化损失函数训练得到。

    20、在一个可选的实施例中,关系分类模块为基于双仿射注意力机制的分类模块。

    21、在一个可选的实施例中,方法还包括:

    22、构建初始关系抽取模型;

    23、对初始关系抽取模型进行训练,得到关系抽取模型。

    24、在一个可选的实施例中,初始关系抽取模型包括初始特征抽取模块、初始实体识别模块以及初始关系分类模块;

    25、对初始关系抽取模型进行训练,得到关系抽取模型,包括:

    26、对初始特征抽取模块、初始实体识别模块以及初始关系分类模块进行训练,得到特征抽取模块、实体识别模块以及关系分类模块;

    27、其中,初始特征抽取模块以及实体识别模块的训练过程为联合学习训练过程。

    28、在一个可选的实施例中,对初始关系抽取模型进行训练,得到关系抽取模型,包括:

    29、获取样本集,样本集中包括至少两个文本样本,文本样本标注有与文本样本对应的文本识别结果;

    30、基于样本集对初始关系抽取模型进行训练,得到关系抽取模型。

    31、在一个可选的实施例中,方法还包括:

    32、确定与初始关系抽取模型对应的性能评级指标,性能评价指标包括精准率指标、召回率指标以及加权平均f1指标;

    33、响应于初始关系抽取模型的训练结果符合性能评级指标的评级要求,确定关系抽取模型的训练完成。

    34、本申请提供的技术方案带来的有益效果至少包括:

    35、在对于目标文本进行语义识别的场景下,结合获取的目标文本,通过结合深度双仿射注意力机制,通过实体关系抽取文本内容当中对于文本内容的识别结果以及对于语素的识别结果,以实现对于目标信息的多维度实体关系内容获取,实现了对于文本内容的特征提取能力的提高。



    技术特征:

    1.一种基于深度双仿射注意力机制的实体关系联合抽取方法,其特征在于,所述方法应用于计算机设备中,所述方法包括:

    2.根据要求1所述的方法,其特征在于,所述实体关系抽取模型包括特征抽取模块、实体识别模块以及关系分类模块;

    3.根据权利要求2所述的方法,其特征在于,所述特征抽取模块为基于bert预训练的语言模型;

    4.根据权利要求3所述的方法,其特征在于,所述文本嵌入层包括词嵌入模块、位置嵌入模块以及类型嵌入模块;

    5.根据权利要求2所述的方法,其特征在于,所述实体识别模块为基于bio标记法的文本识别模块;

    6.根据权利要求2所述的方法,其特征在于,所述关系分类模块为基于双仿射注意力机制的分类模块。

    7.根据权利要求2所述的方法,其特征在于,所述方法还包括:

    8.根据权利要求7所述的方法,其特征在于,所述初始关系抽取模型包括初始特征抽取模块、初始实体识别模块以及初始关系分类模块;

    9.根据权利要求8所述的方法,其特征在于,所述对所述初始关系抽取模型进行训练,得到所述关系抽取模型,包括:

    10.根据权利要求9所述的方法,其特征在于,所述方法还包括:


    技术总结
    本申请关于基于深度双仿射注意力机制的实体关系联合抽取方法,涉及自然文本处理技术领域。该方法包括:获取目标文本;将目标文本输入实体关系抽取模型,输出得到与目标文本对应的实体关系抽取结果,实体关系抽取结果中包括文本单元识别结果以及与文本单元识别结果对应的单元内容识别结果。在对于目标文本进行语义识别的场景下,结合获取的目标文本,通过结合深度双仿射注意力机制,通过实体关系抽取文本内容当中对于文本内容的识别结果以及对于语素的识别结果,以实现对于目标信息的多维度实体关系内容获取,实现了对于文本内容的特征提取能力的提高。

    技术研发人员:夏振涛,李艳,石雁
    受保护的技术使用者:永中软件股份有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-22668.html

    最新回复(0)