本发明涉及人工智能,尤其涉及一种文本答案评判方法、文本答案评判装置及存储介质。
背景技术:
1、当前大模型评测任务对文本类答案的结果判定提出了更高的要求,由于评测任务类型多,评测结果主要以文本答案形式呈现,但差异极大,如阅读理解答案和命名实体识别结果等;且待评测模型数量众多,难以遵循统一的提示指令,输出规定格式答案。目前提出了几种方式来进行评测任务,例如,(1)关键字匹配、正则表达式等自动化判定方法;(2)针对各类型答案,针对性训练不同深度学习模型;(3)利用大语言模型,结合提示语句进行自动化结果判定。
2、然而关键字匹配、正则表达式等自动化判定方法灵活性差,需要人工逐一开展特征工程,适配各类型任务答案;同时,此类方法对参测模型预测结果的格式有严格要求,但部分模型遵循能力差,难以达到要求;而训练专用深度学习模型,需要大规模研发数据资源,且泛化至数据分布不一致的答案时可能效果不佳,遇到新类型答案判定任务,涉及反复训练及研发;利用大语言模型直接进行结果判定,通常采用角色扮演或策略单一的提示语句,未充分发挥模型自身的能力,往往效果不佳。综上所述,目前的评判方法存在模型的遵循能力差,且判别准确率低的问题。
技术实现思路
1、本申请实施例提供了一种文本答案评判方法、文本答案评判装置及存储介质,能够提高模型的遵循能力和判别准确率。
2、本申请实施例的技术方案是这样实现的:
3、第一方面,本申请实施例提供了一种文本答案评判方法,所述方法包括:
4、接收终端设备发送的预测请求,其中,所述预测请求包括所述终端设备对应的设备信息、待测试数据;
5、基于所述设备信息确定增强模式,并基于所述增强模式对初始判别模型进行优化处理,获得第一判别模型;
6、对所述第一判别模型进行策略配置,获得第二判别模型;
7、基于所述第二判别模型确定所述待测试数据对应的文本答案的判别结果。
8、第二方面,本申请实施例提供了一种文本答案评判装置,所述文本答案评判装置包括:接收单元,确定单元,优化单元,配置单元;
9、所述接收单元,用于接收终端设备发送的预测请求,其中,所述预测请求包括所述终端设备对应的设备信息、待测试数据;
10、所述确定单元,用于基于所述设备信息确定增强模式;
11、所述优化单元,用于并基于所述增强模式对初始判别模型进行优化处理,获得第一判别模型;
12、所述配置单元,用于对所述第一判别模型进行策略配置,获得第二判别模型;
13、所述确定单元,还用于基于所述第二判别模型确定所述待测试数据对应的文本答案的判别结果。
14、第三方面,本申请实施例提供了一种文本答案评判装置,所述文本答案评判装置包括:处理器和存储器;其中,
15、所述存储器,用于存储能够在所述处理器上运行的计算机程序;
16、所述处理器,用于在运行所述计算机程序时,执行如上所述的文本答案评判方法。
17、第四方面,本申请实施例提供了一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序代码,当所述计算机程序代码被计算机执行时,实现如上所述的文本答案评判方法。
18、本申请实施例提供了一种文本答案评判方法、文本答案评判装置及存储介质,该方法包括:文本答案评判装置接收终端设备发送的预测请求,其中,预测请求包括终端设备对应的设备信息、待测试数据;基于设备信息确定增强模式,并基于增强模式对初始判别模型进行优化处理,获得第一判别模型;对第一判别模型进行策略配置,获得第二判别模型;基于第二判别模型确定待测试数据对应的文本答案的判别结果。也就是说,文本答案评判装置可以基于增强模式对初始判别模型进行优化处理,获得第一判别模型,对第一判别模型进行策略配置,获得第二判别模型,即本申请可以基于增强模式对初始判别模型进行优化,从而提高模型的遵循能力,还可以对优化后的第一判别模型进行多种策略配置,获得第二判别模型,进而可以基于第二判别模型确定待测试数据对应的文本答案的判别结果,从而可以提高判别结果的判别准确率。
1.一种文本答案评判方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述增强模式包括模型微调增强模式或人工辅助增强模式。
3.根据权利要求2所述的方法,其特征在于,当所述增强模式为所述模型微调增强模式时,所述基于所述增强模式对初始判别模型进行优化处理,获得第一判别模型,包括:
4.根据权利要求3所述的方法,其特征在于,所述对所述第一判别模型进行策略配置,获得第二判别模型,包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述策略配置信息对每个所述第一判别模型进行策略配置,获得至少一个第二判别模型,包括:
6.根据权利要求4所述的方法,其特征在于,所述基于所述策略配置信息对每个所述第一判别模型进行策略配置,获得至少一个第二判别模型,包括:
7.根据权利要求4所述的方法,其特征在于,所述方法还包括:
8.根据权利要求7所述的方法,其特征在于,所述基于所述第二判别模型确定所述待测试数据对应的文本答案的判别结果,包括:
9.根据权利要求2所述的方法,其特征在于,当所述增强模式为所述人工辅助增强模式时,所述基于所述增强模式对初始判别模型进行优化处理,获得第一判别模型,包括:
10.根据权利要求9所述的方法,其特征在于,在所述基于所述预置知识库对所述初始判别模型进行优化处理,获得所述第一判别模型之后,所述方法还包括:
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
12.一种文本答案评判装置,其特征在于,所述文本答案评判装置包括:接收单元,确定单元,优化单元,配置单元;
13.一种文本答案评判装置,其特征在于,所述文本答案评判装置包括:处理器和存储器;其中,
14.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序代码,当所述计算机程序代码被计算机执行时执行权利要求1-11中任一所述的方法。