模型应用的开发方法、装置、设备及存储介质与流程

    技术2024-12-29  51


    本公开涉及计算机,特别是涉及一种模型应用的开发方法、装置、设备及存储介质。


    背景技术:

    1、随着人工智能技术的快速发展,生成式模型在多种应用场景中发挥着重要作用。

    2、然而,现阶段模型应用的开发主要以开发人员编写代码为主,这种开发方式的门槛较高,且代码维护成本较高。

    3、因此,需要一种能够降低模型应用开发成本的模型应用开发方案。


    技术实现思路

    1、本公开要解决的一个技术问题是,如何提供一种能够降低模型应用开发成本的模型应用开发方案。

    2、根据本公开的第一个方面,提供了一种模型应用的开发方法,所述模型应用用于基于生成式模型提供模型服务,所述方法包括:基于第一用户针对算子节点执行的拖拽操作构造有向无环图,所述有向无环图包括多个算子节点以及用于表征不同算子节点之间的依赖关系的有向边,所述算子节点用于表征所述模型应用为提供所述模型服务而执行的处理流程中的一个处理步骤;基于所述第一用户针对至少一个所述算子节点执行的配置操作,确定所述算子节点的配置信息;基于所述有向无环图中不同算子节点之间的依赖关系以及各个算子节点的配置信息,将所述有向无环图部署为所述模型应用。

    3、可选地,基于第一用户针对至少一个所述算子节点执行的配置操作,确定所述算子节点的配置信息,包括:基于所述有向无环图中不同算子节点之间的依赖关系以及各个算子节点的当前配置信息,运行所述有向无环图以处理测试请求;输出所述有向无环图中至少一个算子节点的辅助调试信息;接收所述第一用户基于所述辅助调试信息而对所述算子节点执行的配置操作,并基于所述配置操作调整所述算子节点的配置信息。

    4、可选地,所述辅助调试信息包括以下至少一项:所述算子节点的输入;所述算子节点的输出;所述算子节点的运行时间;所述算子节点的计算资源消耗情况。

    5、可选地,所述多个算子节点包括:输入算子,用于接收第二用户的输入;一个或多个召回算子,每个所述召回算子均与所述输入算子通过有向边连接,且该有向边的方向由所述输入算子指向所述召回算子,所述召回算子用于从语料库中召回与所述输入相关的查询信息;召回合并算子,所述召回合并算子与各个所述召回算子通过有向边连接,且该有向边的方向由所述召回算子指向所述召回合并算子,所述召回合并算子用于合并各个所述召回算子的至少部分召回结果;模型输入算子,所述模型输入算子分别与所述召回合并算子和所述输入算子通过有向边连接,且该有向边的方向由所述召回合并算子或所述输入算子指向所述模型输入算子,所述模型输入算子用于基于所述输入和所述召回合并算子输出的合并结果,生成适于输入生成式模型的输入提示;模型调用算子,所述模型调用算子与所述模型输入算子通过有向边连接,且该有向边的方向由所述模型输入算子指向所述模型调用算子,所述模型调用算子用于基于所述输入提示调用生成式模型得到与所述输入对应的应答信息;以及输出算子,所述输出算子与所述模型调用算子通过有向边连接,且该有向边的方向由所述模型调用算子指向所述输出算子,所述输出算子用于输出所述应答信息。

    6、可选地,所述输入为语音输入,所述多个算子还包括自动语音识别算子,所述自动语音识别算子与所述输入算子通过有向边连接,且该有向边的方向由所述输入算子指向所述自动语音识别算子,所述自动语音识别算子用于将所述语音输入转换为文本信息,所述自动语音识别算子还分别与所述召回算子和所述模型输入算子连接,且该有向边的方向由所述自动语音识别算子指向所述召回算子或所述模型输入算子,所述自动语音识别算子的输出用于作为所述召回算子和所述模型输入算子的输入。

    7、可选地,所述多个算子还包括重排序算子,所述重排序算子与各个所述召回算子通过有向边连接,且该有向边的方向由所述召回算子指向所述重排序算子,所述重排序算子用于对所述召回算子的召回结果进行评估和排序,并基于排序结果从中选取第一数量个召回结果;所述重排序算子还与所述召回合并算子通过有向边连接,且该有向边的方向由所述重排序算子指向所述召回合并算子,所述召回合并算子用于对所述重排序算子输出的所述第一数量个召回结果进行合并;或者所述重排序算子与所述召回合并算子通过有向边连接,且该有向边的方向由所述召回合并算子指向所述重排序算子,所述重排序算子对所述召回合并算子合并后的召回结果进行评估和排序,并基于排序结果从中选取第二数量个召回结果;所述重排序算子还与所述模型输入算子通过有向边连接,且该有向边的方向由所述重排序算子指向所述模型输入算子,所述重排序算子输出的所述第二数量个召回结果用于作为所述模型输入算子的输入。

    8、可选地,所述多个算子还包括一个或多个工具算子,每个所述工具算子对应一种工具服务,所述工具算子与所述模型调用算子通过有向边连接,且该有向边的方向由所述工具算子指向所述模型调用算子,所述工具算子用于为所述模型调用算子提供调用所述工具服务的能力,使得所述模型调用算子能够通过调用所述工具服务生成所述应应答信息。

    9、可选地,所述多个算子还包括一个或多个自定义算子,所述自定义算子用于基于所述第一用户提供的自定义文件提供自定义服务。

    10、可选地,所述多个算子还包括文本转语音算子,所述文本转语音算子与所述模型调用算子通过有向边连接,且该有向边的方向由所述模型调用算子指向所述文本转语音算子,所述文本转语音算子用于将所述模型调用算子输出的应答信息转换为语音输出,所述文本转语音算子还与所述输出算子通过有向边连接,且该有向边的方向由所述文本转语音算子指向所述输出算子,所述输出算子用于播报所述语音输出。

    11、可选地,所述配置信息包括以下至少一项:所述算子节点所使用的算法名称;与所述算子节点所使用的算法相关的算法参数。

    12、根据本公开的第二个方面,提供了一种模型应用的开发装置,所述模型应用用于基于生成式模型提供模型服务,所述装置包括:构造模块,用于基于第一用户针对算子节点执行的拖拽操作构造有向无环图,所述有向无环图包括多个算子节点以及用于表征不同算子节点之间的依赖关系的有向边,所述算子节点用于表征所述模型应用为提供所述模型服务而执行的处理流程中的一个处理步骤;配置模块,用于基于所述第一用户针对至少一个所述算子节点执行的配置操作,确定所述算子节点的配置信息;部署模块,用于基于所述有向无环图中不同算子节点之间的依赖关系以及各个算子节点的配置信息,将所述有向无环图部署为所述模型应用。

    13、可选地,所述配置模块包括:运行模块,用于基于所述有向无环图中不同算子节点之间的依赖关系以及各个算子节点的当前配置信息,运行所述有向无环图以处理测试请求;输出模块,用于输出所述有向无环图中至少一个算子节点的辅助调试信息;接收模块,用于接收所述第一用户基于所述辅助调试信息而对所述算子节点执行的配置操作,并基于所述配置操作调整所述算子节点的配置信息。

    14、可选地,所述辅助调试信息包括以下至少一项:所述算子节点的输入;所述算子节点的输出;所述算子节点的运行时间;所述算子节点的计算资源消耗情况。

    15、可选地,所述多个算子节点包括:输入算子,用于接收第二用户的输入;一个或多个召回算子,每个所述召回算子均与所述输入算子通过有向边连接,且该有向边的方向由所述输入算子指向所述召回算子,所述召回算子用于从语料库中召回与所述输入相关的查询信息;召回合并算子,所述召回合并算子与各个所述召回算子通过有向边连接,且该有向边的方向由所述召回算子指向所述召回合并算子,所述召回合并算子用于合并各个所述召回算子的至少部分召回结果;模型输入算子,所述模型输入算子分别与所述召回合并算子和所述输入算子通过有向边连接,且该有向边的方向由所述召回合并算子或所述输入算子指向所述模型输入算子,所述模型输入算子用于基于所述输入和所述召回合并算子输出的合并结果,生成适于输入生成式模型的输入提示;模型调用算子,所述模型调用算子与所述模型输入算子通过有向边连接,且该有向边的方向由所述模型输入算子指向所述模型调用算子,所述模型调用算子用于基于所述输入提示调用生成式模型得到与所述输入对应的应答信息;以及输出算子,所述输出算子与所述模型调用算子通过有向边连接,且该有向边的方向由所述模型调用算子指向所述输出算子,所述输出算子用于输出所述应答信息。

    16、可选地,所述输入为语音输入,所述多个算子还包括自动语音识别算子,所述自动语音识别算子与所述输入算子通过有向边连接,且该有向边的方向由所述输入算子指向所述自动语音识别算子,所述自动语音识别算子用于将所述语音输入转换为文本信息,所述自动语音识别算子还分别与所述召回算子和所述模型输入算子连接,且该有向边的方向由所述自动语音识别算子指向所述召回算子或所述模型输入算子,所述自动语音识别算子的输出用于作为所述召回算子和所述模型输入算子的输入。

    17、可选地,所述多个算子还包括重排序算子,所述重排序算子与各个所述召回算子通过有向边连接,且该有向边的方向由所述召回算子指向所述重排序算子,所述重排序算子用于对所述召回算子的召回结果进行评估和排序,并基于排序结果从中选取第一数量个召回结果;所述重排序算子还与所述召回合并算子通过有向边连接,且该有向边的方向由所述重排序算子指向所述召回合并算子,所述召回合并算子用于对所述重排序算子输出的所述第一数量个召回结果进行合并;或者所述重排序算子与所述召回合并算子通过有向边连接,且该有向边的方向由所述召回合并算子指向所述重排序算子,所述重排序算子对所述召回合并算子合并后的召回结果进行评估和排序,并基于排序结果从中选取第二数量个召回结果;所述重排序算子还与所述模型输入算子通过有向边连接,且该有向边的方向由所述重排序算子指向所述模型输入算子,所述重排序算子输出的所述第二数量个召回结果用于作为所述模型输入算子的输入。

    18、可选地,所述多个算子还包括一个或多个工具算子,每个所述工具算子对应一种工具服务,所述工具算子与所述模型调用算子通过有向边连接,且该有向边的方向由所述工具算子指向所述模型调用算子,所述工具算子用于为所述模型调用算子提供调用所述工具服务的能力,使得所述模型调用算子能够通过调用所述工具服务生成所述应应答信息。

    19、可选地,所述多个算子还包括一个或多个自定义算子,所述自定义算子用于基于所述第一用户提供的自定义文件提供自定义服务。

    20、可选地,所述多个算子还包括文本转语音算子,所述文本转语音算子与所述模型调用算子通过有向边连接,且该有向边的方向由所述模型调用算子指向所述文本转语音算子,所述文本转语音算子用于将所述模型调用算子输出的应答信息转换为语音输出,所述文本转语音算子还与所述输出算子通过有向边连接,且该有向边的方向由所述文本转语音算子指向所述输出算子,所述输出算子用于播报所述语音输出。

    21、可选地,所述配置信息包括以下至少一项:所述算子节点所使用的算法名称;与所述算子节点所使用的算法相关的算法参数。

    22、根据本公开的第三个方面,提供了一种计算设备,包括:处理器;以及存储器,其上存储有可执行代码,当可执行代码被处理器执行时,使处理器执行如上述第一个方面所述的方法。

    23、根据本公开的第四个方面,提供了一种计算机程序产品,包括可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上述第一个方面所述的方法。

    24、根据本公开的第五个方面,提供了一种非暂时性机器可读存储介质,其上存储有可执行代码,当可执行代码被电子设备的处理器执行时,使处理器执行如上述第一个方面所述的方法。

    25、本公开基于第一用户针对算子节点执行的拖拽操作构造有向无环图,基于第一用户针对至少一个算子节点执行的配置操作,确定算子节点的配置信息,并基于有向无环图中不同算子节点之间的依赖关系以及各个算子节点的配置信息,将有向无环图部署为模型应用。本公开通过使用户(如开发人员)通过拖拽算子节点以绘制有向无环图的方式开发模型应用,可以减少代码编写成本。并且,本公开支持用户对有向无环图中算子节点的参数进行配置,以便于开发出符合用户需求的模型应用。


    技术特征:

    1.一种模型应用的开发方法,其特征在于,所述模型应用用于基于生成式模型提供模型服务,所述方法包括:

    2.根据权利要求1所述的方法,其特征在于,所述多个算子节点包括:

    3.根据权利要求2所述的方法,其特征在于,

    4.根据权利要求2所述的方法,其特征在于,

    5.根据权利要求2所述的方法,其特征在于,

    6.根据权利要求2所述的方法,其特征在于,

    7.一种模型应用的开发装置,其特征在于,所述模型应用用于基于生成式模型提供模型服务,所述装置包括:

    8.一种计算设备,包括:

    9.一种计算机程序产品,包括可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1至6中任何一项所述的方法。

    10.一种非暂时性机器可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1至6中任何一项所述的方法。


    技术总结
    本公开涉及一种服务编排方法、装置、设备及存储介质。基于第一用户针对算子节点执行的拖拽操作构造有向无环图,有向无环图包括多个算子节点以及用于表征不同算子节点之间的依赖关系的有向边,算子节点用于表征模型应用为提供模型服务而执行的处理流程中的一个处理步骤;基于第一用户针对至少一个算子节点执行的配置操作,确定算子节点的配置信息;基于有向无环图中不同算子节点之间的依赖关系以及各个算子节点的配置信息,将有向无环图部署为模型应用。由此可以降低模型应用开发成本。

    技术研发人员:颜丙政,戴振衡,闵蕾
    受保护的技术使用者:第四范式(北京)技术有限公司
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-24446.html

    最新回复(0)