本申请涉及计算机,尤其涉及一种基于lora的大模型切换方法、设备及介质。
背景技术:
1、目前,各行各业都在探索大模型在不同领域的运用,在数据治理领域中,大模型凭借对非结构化数据的语义理解能力和结构化的文本输出能力占据了越来越重的地位。许多以往难以治理的数据通过大模型技术都可以轻松克服。当前数据治理领域中主流的大模型使用方法是人工标注部分标准数据治理模板,使用这些数据对大模型进行微调,得到针对特定任务的大模型。在使用过程中,根据任务类型加载对应的大模型进行数据治理任务。然而大模型占用的机器资源较大,随着任务种类的增多,机器资源变得越来越紧张。
技术实现思路
1、为了解决上述问题,本申请提出了一种基于lora的大模型切换方法,包括:确定预先设置的任务类型,根据所述任务类型确定对应的指令数据集;确定预先设置的数据治理大模型的原始参数,将所述原始参数进行冻结,以确定lora模型,根据所述指令数据集对所述lora模型进行调整,以确定模型参数;将调整后的所述lora模型存储至预先设置的服务器中,并根据所述模型参数对所述lora模型进行切换。
2、在一个示例中,根据所述指令数据集对所述lora模型进行调整,具体包括:根据所述指令数据集生成输入输出对,以根据所述输入输出对所述lora模型进行调整。
3、在一个示例中,根据所述指令数据集对所述lora模型进行调整之后,所述方法还包括:通过所述lora模型确定所述任务类型之间的差异,并根据所述差异确定所述模型参数。
4、在一个示例中,将调整后的所述lora模型存储至预先设置的服务器中,具体包括:根据所述任务类型确定存储类型,根据所述存储类型将所述lora模型存储至预先设置的服务器中,其中,所述存储类型包括但不限于文件系统、数据库或对象存储。
5、在一个示例中,将调整后的所述lora模型存储至预先设置的服务器中之后,所述方法还包括:确定所述lora模型在所述服务器中的存储位置,以根据所述存储位置对所述lora模型进行检索和加载。
6、在一个示例中,所述方法还包括:确定用户的任务需求,并确定所述任务需求对应的任务类型;根据所述任务类型确定对应的所述lora模型,并确定所述lora模型对应的模型参数,以根据所述模型参数在所述服务器中对所述lora模型进行检索和加载。
7、在一个示例中,所述方法还包括:确定当前运行的第一lora模型,并根据所述模型参数在所述服务器中进行检索和加载,以确定第二lora模型;将所述第一lora模型进行停止运行,并运行所述第二lora模型。
8、在一个示例中,所述任务类型包括但不限于自然语言处理、图像识别、语音识别。
9、另一方面,本申请还提出了一种基于lora的大模型切换设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述一种基于lora的大模型切换设备能够执行:确定预先设置的任务类型,根据所述任务类型确定对应的指令数据集;确定lora模型的原始参数,将所述原始参数进行冻结,根据所述指令数据集对冻结后的所述lora模型进行调整,以确定模型参数;将调整后的所述lora模型存储至预先设置的服务器中,并根据所述模型参数对所述lora模型进行切换。
10、另一方面,本申请还提出了一种非易失性计算机存储介质,存储有计算机可执行指令,所述计算机可执行指令设置为:确定预先设置的任务类型,根据所述任务类型确定对应的指令数据集;确定lora模型的原始参数,将所述原始参数进行冻结,根据所述指令数据集对冻结后的所述lora模型进行调整,以确定模型参数;将调整后的所述lora模型存储至预先设置的服务器中,并根据所述模型参数对所述lora模型进行切换。
11、本申请使用lora微调对大模型进行训练,且只对大模型的某些重要参数进行训练,从而得到与全量参数训练近似的效果,资源占用极大的减少。针对不同的数据治理任务训练不同的lora微调模型,可以获得特定任务的专有模型,避免不同任务数据之间相互扰乱导致模型效果下降。将lora模型动态加载到数据治理基础大模型上,在只占用一个基础数据治理大模型的基础上动态切换不同的特定任务lora模型,多个任务可以快速切换,节约系统资源。本申请通过用户指定任务类型加载不同的lora模型执行对应任务,避免模型多端部署造成的模型接口混乱。
1.一种基于lora的大模型切换方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,根据所述指令数据集对所述lora模型进行调整,具体包括:
3.根据权利要求1所述的方法,其特征在于,根据所述指令数据集对所述lora模型进行调整之后,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,将调整后的所述lora模型存储至预先设置的服务器中,具体包括:
5.根据权利要求1所述的方法,其特征在于,将调整后的所述lora模型存储至预先设置的服务器中之后,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
8.根据权利要求1所述的方法,其特征在于,所述任务类型包括但不限于自然语言处理、图像识别、语音识别。
9.一种基于lora的大模型切换设备,其特征在于,包括:
10.一种非易失性计算机存储介质,存储有计算机可执行指令,其特征在于,所述计算机可执行指令设置为: