本发明涉及大语言模型领域,尤其涉及一种基于人工智能平台的大语言模型的管理方法、装置及系统。
背景技术:
1、随着大语言模型的快速发展,各行各业均开始应用大语言模型进行预测,例如transformers模型广泛应用自然语言处理等人工智能领域。transformers模型是一种用于序列到序列任务的大语言神经网络模型,如可以应用与机器翻译、语音识别以及生成对话等。镜像模型也是一种广泛应用的在机器学习领域广泛应用的一种大语言模型。然而,现有技术中针对大语言模型例如transformers模型和镜像模型并不存在一种统一的管理方案,从而导致部署和应用大语言模型时容易出现故障。
技术实现思路
1、本发明实施例提供一种基于人工智能平台的大语言模型管理方法、装置及系统,解决现有技术中针对大语言模型例如transformers模型和镜像模型并不存在一种统一的管理方案,从而导致部署和应用大语言模型时容易出现故障。
2、为解决上述技术问题,本发明提供一种基于人工智能平台的大语言模型管理方法,所述方法包括:
3、步骤s1:人工智能平台接收大语言模型的导入请求;
4、步骤s2:所述人工智能平台对所述大语言模型的模型文件进行解析,确定模型的参数信息和变量信息;
5、步骤s3:响应于用户对所述变量信息的确认操作,将所述大语言模型导入所述人工智能平台中对应的模型组。
6、可选的,上述方法中,所述响应于用户对所述变量信息的确认操作,将所述大语言模型导入所述人工智能平台中对应的模型组之前,所述方法还包括:
7、步骤s21:接收用户对所述变量信息的修改指示;
8、步骤s22:基于所述修改指示对所述变量信息进行配置。
9、可选的,上述方法中,所述大语言模型包括镜像模型时,所述将所述大语言模型导入所述人工智能平台中对应的模型组包括:
10、步骤s11:所述人工智能平台基于所述镜像模型的模型文件获取所述镜像模型的容器镜像;
11、步骤s12:所述人工智能平台配置所述镜像模型的机器授权信息;
12、步骤s13:所述人工智能平台同步所述镜像模型的变量信息;
13、步骤s14:所述人工智能平台确认所述镜像模型的参数信息;
14、步骤s15:所述人工智能平台将所述容器镜像和所述变量信息存储至对应的模型组。
15、可选的,上述方法中,所述机器授权信息包括:
16、输入地址、端口、统一资源标识符uri、启动命令、启动参数和高级配置参数。
17、可选的,上述方法中,所述响应于用户对所述变量信息的确认操作,将所述大语言模型导入所述人工智能平台中对应的模型组之后,所述方法还包括:
18、步骤s4:从所述模型组中获取待评估模型;
19、步骤s5:基于所述待评估模型类别确定目标评估方式和目标评估指标;
20、步骤s6:根据所述目标评估方式和所述目标评估指标对所述待评估模型进行模型评估,得到所述模型组中的模型排名。
21、可选的,上述方法中,所述待评估模型包括镜像模型时,所述根据所述目标评估方式和所述目标评估指标对所述待评估模型进行模型评估包括:
22、步骤s61:对所述镜像模型的环境以及目标属性分别进行验证;
23、步骤s62:若所述环境以及所述目标属性验证通过,确定所述镜像模型的目标评估方式和目标评估指标;
24、步骤s63:根据所述目标评估方式和所述目标评估指标对所述镜像模型进行模型评估。
25、可选的,上述方法中,所述目标属性包括以下至少一项:
26、功能性、性能、扩展性和稳定性。
27、本发明实施例还提供了一种基于人工智能平台的大语言模型的管理装置,所述装置包括:
28、第一接收模块,用于人工智能平台接收大语言模型的导入请求;
29、第一确定模块,用于确定所述人工智能平台对所述大语言模型的模型文件进行解析,确定模型的参数信息和变量信息;
30、导入模块,用于响应于用户对所述变量信息的确认操作,将所述大语言模型导入所述人工智能平台中对应的模型组。
31、可选的,上述装置还包括:
32、第二接收模块,用于所述响应于用户对所述变量信息的确认操作,将所述大语言模型导入所述人工智能平台中对应的模型组之前,接收用户对所述变量信息的修改指示;
33、配置模块,用于基于所述修改指示对所述变量信息进行配置。
34、可选的,上述装置中,所述大语言模型包括镜像模型时,所述将导入模块包括:
35、获取子模块,用于所述人工智能平台基于所述镜像模型的模型文件获取所述镜像模型的容器镜像;
36、配置子模块,用于所述人工智能平台配置所述镜像模型的机器授权信息;
37、同步子模块,用于所述人工智能平台同步所述镜像模型的变量信息;
38、确认子模块,用于所述人工智能平台确认所述镜像模型的参数信息;
39、存储子模块,用于人工智能平台将所述容器镜像和所述变量信息存储至对应的模型组。
40、可选的,上述装置中,所述机器授权信息包括:
41、输入地址、端口、统一资源标识符uri、启动命令、启动参数和高级配置参数。
42、可选的,上述装置还包括:
43、获取模块,用于从所述模型组中获取待评估模型;
44、第二确定模块,用于基于所述待评估模型类别确定目标评估方式和目标评估指标;
45、模型评估模块,用于根据所述目标评估方式和所述目标评估指标对所述待评估模型进行模型评估,得到所述模型组中的模型排名。
46、可选的,上述装置中,所述待评估模型包括镜像模型时,所述模型评估模块包括:
47、验证子模块,用于对所述镜像模型的环境以及目标属性分别进行验证;
48、确定子模块,用于若所述环境以及所述目标属性验证通过,确定所述镜像模型的目标评估方式和目标评估指标;
49、模型评估子模块,用于根据所述目标评估方式和所述目标评估指标对所述镜像模型进行模型评估。
50、可选的,上述装置中,所述目标属性包括以下至少一项:
51、功能性、性能、扩展性和稳定性。
52、本发明实施例还提供了一种基于人工智能平台的大语言模型的管理系统,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如上述的基于人工智能平台的大语言模型管理方法的步骤。
53、本发明实施例还提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现上述的基于人工智能平台的大语言模型管理方法。
54、本发明实施例能够基于人工智能平台对大语言模型进行统一管理,提高部署和应用大语言模型的成功率。
1.一种基于人工智能平台的大语言模型管理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的管理方法,其特征在于,所述响应于用户对所述变量信息的确认操作,将所述大语言模型导入所述人工智能平台中对应的模型组之前,所述方法还包括:
3.根据权利要求1或2所述的管理方法,其特征在于,所述大语言模型包括镜像模型时,所述将所述大语言模型导入所述人工智能平台中对应的模型组包括:
4.根据权利要求3所述的管理方法,其特征在于,所述机器授权信息包括:
5.根据权利要求1所述的管理方法,其特征在于,所述响应于用户对所述变量信息的确认操作,将所述大语言模型导入所述人工智能平台中对应的模型组之后,所述方法还包括:
6.根据权利要求5所述的管理方法,其特征在于,所述待评估模型包括镜像模型时,所述根据所述目标评估方式和所述目标评估指标对所述待评估模型进行模型评估包括:
7.根据权利要求6所述的管理方法,其特征在于,所述目标属性包括以下至少一项:
8.一种基于人工智能平台的大语言模型的管理装置,其特征在于,所述装置包括:
9.一种基于人工智能平台的大语言模型的管理系统,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至7任一项所述的基于人工智能平台的大语言模型管理方法的步骤。
10.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现如权利要求1-7中任一项所述的基于人工智能平台的大语言模型管理方法。