一种融合大语言模型和知识图谱的DCS智能决策方法及系统与流程

    技术2025-03-02  49


    本发明涉及核电dcs系统,尤其涉及一种融合大语言模型和知识图谱的dcs智能决策方法及系统。


    背景技术:

    1、核电dcs(distributed control system,分布式控制系统)运维数据中蕴含着丰富的专家经验和dcs健康管理知识。这些数据涵盖了设备相关知识、异常原因及其纠正措施等运维内容。然而,目前这些数据尚未得到充分整合,文档之间存在严重的数据孤岛现象。通过将专家经验和实践知识转化为计算机可理解的知识,并应用于实际操作,可以有效帮助运维人员快速响应报警,从而获得规范化、高质量的响应结果。当前,大型语言模型(large language model,llm)在一般领域的各种自然语言处理任务中取得了显着的成功。然而,针对专业类问题,由于专业领域知识有限,llm会产生事实幻觉,影响回答的可靠性,这给llm在严谨性较高的工业领域的应用带来了潜在的风险。

    2、知识图谱通过捕捉核电dcs运维数据中的关键实体和关系,形成结构化的知识库,为大语言模型提供准确、全面的背景知识,从而提高其在专业领域的问答准确性和可靠性。将大型语言模型与知识图谱相结合,以结构化知识作为大模型的领域知识,以知识图谱为知识驱动、以大模型为数据驱动,两者结合以胜任严肃应用的较高要求。

    3、在实际的工程应用中,核电dcs数据和技术文档的挖掘和使用效率不高,主要受到以下三个方面的影响:

    4、(1)数据来源广泛且数据量巨大

    5、核电dcs涉及的数据种类繁多,包括日志数据、运维数据、工单数据等。这些数据分散在不同系统中,难以批量获取。同时,庞大的数据量也增加了数据分析的难度。

    6、(2)专业领域知识的限制

    7、文档管理人员和信息技术人员主要从编目、格式和结构等方面管理核电技术文档,而无法从内容角度提取关键内容并进行逻辑重组。这导致数据的二次利用率较低,难以充分发挥其价值。

    8、(3)关系型数据库的局限性

    9、传统的关系型数据库在存储日志数据和工单数据时,存在规则冗余和信息孤岛问题,难以对不同数据进行关联,或难以表示数据可能具有的不同属性。这限制了对核电dcs运维数据的全面认知和科学管理,也影响了dcs报警异常的快速响应。

    10、目前,现有技术中,还没有针对核电dcs的大语言模型与知识图谱融合的智能决策方法及相关研究。针对核电其他方向及其他领域的智能决策方法存在以下固有问题:

    11、(1)基于公开数据的领域知识图谱

    12、现有的基于公开数据集的核电领域知识图谱,主要来源于互联网上的文献、网络社区或各种开放数据库。虽然这类数据获取比较方便,但涉及核电运维的事实知识较少,无法直接应用于核电运维。

    13、(2)基于传统方法构建知识图谱

    14、传统的基于规则的方法需要先验知识来设定规则,对于复杂的非结构化数据识别效果不佳;而基于统计的方法则需要大量领域知识作为研究支撑,对研究者的要求较高。

    15、(3)基于机器学习/深度学习的方法

    16、该类方法虽然可以有效地提取上下文文本特征,但需要大量的数据标注工作。面对核电领域庞大的多源异构数据,满足标注需求变得非常困难,导致知识抽取的效果不尽如人意。

    17、(4)大语言模型与知识图谱结合不够

    18、大语言模型与知识图谱的结合,更多是以知识图谱作为领域知识,用以增强大语言模型的领域理解。但针对核电厂等对智能问答准确率要求较高且业务逻辑特别明确的领域,以大语言模型作为文本抽取工具,以知识图谱作为查询工具,相关的开发还比较缺乏。


    技术实现思路

    1、本发明的目的在于提供一种融合大语言模型和知识图谱的dcs智能决策方法及系统,解决大语言模型存在对专业领域回答还不足、容易产生幻觉事实和灾难性遗忘、可解释性不够等问题,通过与知识图谱结合,采用数据驱动+知识驱动的方式,实现了大语言模型的核电dcs领域应用。

    2、为了实现上述目的,本发明提供如下技术方案:

    3、一方面,本发明提供一种融合大语言模型和知识图谱的dcs智能决策方法,包括:

    4、步骤1:收集核电dcs多源异构运维数据,并对数据进行预处理;

    5、步骤2:构建核电dcs运维知识图谱本体库,完成知识图谱本体及概念层框架设计;

    6、步骤3:对预处理后的运维数据进行知识抽取,获取知识图谱数据层信息,并构建图谱;

    7、步骤4:结合构建的知识图谱概念层框架,形成分步提示的大语言模型prompt提示策略;

    8、步骤5:对用户问题文本进行信息抽取,与已构建知识图谱进行匹配,提取文本中已有的知识图谱三元组信息以及用户意图识别信息,作为大语言模型的问题输入;

    9、步骤6:将核电dcs案例库与上述知识图谱作为知识库,对大语言模型与知识库进行本地化部署;

    10、步骤7:将问题输入大语言模型,同时导入上述的prompt提示策略,利用大语言模型对问题进行分析,并与知识图谱进行交叉验证,最终输出智能决策结果。

    11、在一些实施例中,在领域本体库及概念层框架的基础上,从dcs多源异构数据中抽取与概念层实体及实体属性对应的数据信息,并以三元组形式存储到知识图谱图数据库中,表示为:

    12、g={e,r,f};

    13、式中,e表示实体集合{e1,e2,…,ee},实体e是知识图谱中最基本的组成元素,r表示关系集合{r1,r2,…,rr},关系r是知识图谱中的边,f表示事实集合{f1,f2,…,ff}。

    14、在一些实施例中,将提取的同类别实体进行向量化编码,进行文本相似度计算,余弦相似度计算公式为:

    15、

    16、式中,a·b是向量a和向量b的点积,||a||和||b||是向量的欧几里得范数;

    17、欧式距离计算公式为:

    18、

    19、在一些实施例中,步骤4包括:

    20、步骤4.1:提取所构建知识图谱的概念层框架;

    21、步骤4.2:结合知识图谱概念层框架,生成需求提示;

    22、步骤4.3:结合已有案例问答,生成few-shot案例提示。

    23、在一些实施例中,从问题中抽取用户提问中的用户意图信息,采用tf-idf特征提取器的意图分类模型,如下:

    24、

    25、tf_idfi=tfi,j×idfi;

    26、其中,ni,j表示词语i在问句j中出现的次数,∑knk,j表示问句j中的总词语数;d为总问句数,|j:ti∈dj|表示包含词语i的问句数;tf_idf表示词语i在问句j中的重要性。

    27、在一些实施例中,采用正态分布或均匀分布对知识图谱中所有实体和关系进行初始化向量表示,再利用transe模型进行训练,形成知识图谱向量知识库:

    28、

    29、其中,e和r分别表示知识图谱中实体和关系的数量,d为每个向量的维度;

    30、transe模型假设关系是从头实体到尾实体的向量平移,如下:

    31、h+r≈t;

    32、其中,h、r、t分别是知识图谱三元组中头实体、关系和尾实体的向量表示;

    33、通过transe模型训练,使得正确的三元组的距离最小,三元组最小距离表示为:

    34、

    35、其中,(h,r,t)表示正确三元组,(h′,r′,t′)表示错误三元组,γ表示正样本和负样本之间的间距,为一个常数,类似于支持向量机中的margin,[]+表示max(0,x),distance(x,y)表示x,y向量的距离,该距离用2范数表示,如下:

    36、

    37、经过transe模型嵌入后,知识图谱中所有实体都用向量进行表示。

    38、在一些实施例中,利用提示策略获得大语言模型中间输出的问答依赖信息,并使用transformer模型对问答依赖信息进行深层语义编码,之后与知识图谱中的结构化语义编码进行相似度匹配;

    39、将大模型生成的问答依赖信息和知识图谱中的已有的结构信息进行词嵌入,经过词嵌入层将句子中的词映射为对应的词向量,转化后分别得到s1=(a1,a2,...al),s2=(b1,b2,...bl);

    40、其中,ai表示句子1中第i个词的词向量,bi表示句子2中第i个词的词向量;

    41、transformer层编码了输入句子全局的语义特征t1、t2,交互注意力层提取了每个句子中的局部相似特征s1、s2,将s1、s2两部分特征进行融合得到特征融合向量m,并输入到全连接层进行语义相似度计算,特征融合向量m如下:

    42、m=[t1;t2;t1-t2;s1;s2;s1-s2];

    43、其中,t1表示句子1的语义特征,t2表示句子2的语义特征,s1表示句子1的相似特征,s2表示句子2的相似特征;

    44、输出层采用全连接网络对特征进行权重调整及softmax函数进行预测分类结果输入为融合的特征融合向量m,预测分类结果计算公式如下:

    45、

    46、模型的损失函数采用交叉熵损失函数如下:

    47、

    48、其中,θ为参数,k表示类别个数,ri为真实标签,yi为预测值,λ||θ||2为正则项。

    49、另一方面,本发明还一种融合大语言模型和知识图谱的dcs智能决策系统,包括:

    50、核电dcs异常报警智能决策数据收集及预处理模块,用于收集与存储核电dcs领域的运维相关数据,并将收集的核电dcs领域的多源异构数据进行数据预处理,形成数据样本集;

    51、核电dcs异常报警智能决策知识图谱概念层设计模块,用于结合核电dcs实际运维需求,构建满足核电应用的核电dcs知识图谱本体及概念层设计;

    52、核电dcs异常报警智能决策数据层获取及图谱构建模块,用于从数据样本集抽取实体、属性,结合概念层框架,构建核电dcs运维知识图谱;

    53、核电dcs异常报警智能决策知识图谱策略增强模块,结合构建的知识图谱概念层框架,形成大语言模型prompt提示学习策略;

    54、核电dcs异常报警智能决策用户问答文本意图识别及关键信息抽取模块,用于提取问答输入中已有的知识图谱三元组信息以及用户意图识别信息;

    55、核电dcs异常报警智能决策知识增强模块,用于将核电dcs案例库与知识图谱作为本地知识库,开展知识问答;

    56、核电dcs异常报警智能决策智能问答模块,用于将问题文本输入大语言模型,导入上述的prompt提示学习策略,对问题进行分析及故障溯源,并与知识图谱进行交叉验证,输出智能决策结果。

    57、另一方面,本发明还提供一种计算机设备,包括存储器和处理器,所述存储器上存储有计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现所述的融合大语言模型和知识图谱的dcs智能决策方法的步骤。

    58、另一方面,本发明还一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机可读指令,其特征在于,所述计算机可读指令被执行时实现所述的融合大语言模型和知识图谱的dcs智能决策方法的步骤。

    59、与现有技术相比,本发明提供的融合大语言模型和知识图谱的dcs智能决策方法及系统具有以下有益效果:

    60、本发明基于dcs运维数据开展了智能决策研究,通过深度融合大型语言模型与知识图谱优势,开发了一种核电dcs智能决策的专业领域方法及系统。本发明将知识库中的文本知识、知识图谱的结构化知识、大型语言模型中的参数化知识三者融合,实现了大语言模型的核电dcs领域应用。

    61、本发明具有以下优势:

    62、第一,增强数据整合与预处理能力。本发明通过收集和预处理核电dcs领域的多源异构数据,形成统一的数据样本集,解决了现有技术中数据分散、难以批量获取的问题,提高了数据整合和分析效率。

    63、第二,构建高效的知识图谱。本发明提出了一种自顶向下的知识图谱本体及概念层设计方法,并结合自底向上的数据层知识抽取,实现了核电dcs运维知识图谱的系统化构建,克服了现有技术中知识图谱构建效率低、覆盖面不足的缺陷。

    64、第三,融合大语言模型与知识图谱。本发明将知识图谱与大语言模型相结合,通过知识图谱提供结构化领域知识,增强大语言模型的专业知识背景,提高了模型在核电dcs领域的问答准确性和可靠性,解决了现有技术中大语言模型专业领域知识有限的问题。

    65、第四,提高智能问答系统的可靠性。通过设计分布提示的大语言模型prompt提示策略,本发明有效减少了大语言模型在专业领域中的事实幻觉现象,增强了模型的回答可靠性和精准度,特别适用于对智能问答准确率要求较高的核电领域。

    66、第五,优化知识抽取与应用。本发明引入了用户问答意图及关键信息抽取模块,与已构建的知识图谱进行匹配,确保了用户输入信息的精准理解和高效处理,克服了现有技术中语义理解不够精准的问题。

    67、第六,实现本地化知识库增强。本发明构建了核电dcs运维相关案例库与知识图谱相结合的本地知识库,增强了领域知识的本地化部署和应用能力,提高了知识更新的及时性和系统响应的速度。

    68、第七,自动化智能决策。本发明实现了对核电dcs报警和故障问题的自动分析与决策支持,提供规范化、高质量的响应结果,显著提升了运维人员的工作效率和决策质量。


    技术特征:

    1.一种融合大语言模型和知识图谱的dcs智能决策方法,其特征在于,包括:

    2.根据权利要求1所述的融合大语言模型和知识图谱的dcs智能决策方法,其特征在于,步骤3中,在领域本体库及概念层框架的基础上,从dcs多源异构数据中抽取与概念层实体及实体属性对应的数据信息,并以三元组形式存储到知识图谱图数据库中,表示为:

    3.根据权利要求1所述的融合大语言模型和知识图谱的dcs智能决策方法,其特征在于,步骤3中,将提取的同类别实体进行向量化编码,进行文本相似度计算,余弦相似度计算公式为:

    4.根据权利要求1所述的融合大语言模型和知识图谱的dcs智能决策方法,其特征在于,步骤4包括:

    5.根据权利要求1所述的融合大语言模型和知识图谱的dcs智能决策方法,其特征在于,步骤5中,从问题中抽取用户提问中的用户意图信息,采用tf-idf特征提取器的意图分类模型,如下:

    6.根据权利要求1所述的融合大语言模型和知识图谱的dcs智能决策方法,其特征在于,步骤6中,采用正态分布或均匀分布对知识图谱中所有实体和关系进行初始化向量表示,再利用transe模型进行训练,形成知识图谱向量知识库:

    7.根据权利要求1所述的融合大语言模型和知识图谱的dcs智能决策方法,其特征在于,步骤7中,利用提示策略获得大语言模型中间输出的问答依赖信息,并使用transformer模型对问答依赖信息进行深层语义编码,之后与知识图谱中的结构化语义编码进行相似度匹配;

    8.一种融合大语言模型和知识图谱的dcs智能决策系统,其特征在于,包括:

    9.一种计算机设备,包括存储器和处理器,所述存储器上存储有计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现权利要求1-7任意一项所述的融合大语言模型和知识图谱的dcs智能决策方法的步骤。

    10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机可读指令,其特征在于,所述计算机可读指令被执行时实现权利要求1-7任意一项所述的融合大语言模型和知识图谱的dcs智能决策方法的步骤。


    技术总结
    本发明涉及核电DCS系统技术领域,提供了一种融合大语言模型和知识图谱的DCS智能决策方法和系统,旨在解决大语言模型存在对专业领域回答还不足、容易产生幻觉事实和灾难性遗忘、可解释性不够等问题,本发明将问题输入大语言模型,同时导入上述的prompt提示策略,利用大语言模型对问题进行分析,并与知识图谱进行交叉验证,最终输出智能决策结果,通过将知识库中的文本知识、知识图谱的结构化知识、大型语言模型中的参数化知识三者融合,实现了大语言模型的核电DCS领域应用。

    技术研发人员:刘培邦,罗俊,尤兵,张才科,赵华伟,郑胜,李小龙
    受保护的技术使用者:中核武汉核电运行技术股份有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-27120.html

    最新回复(0)