一种基于大模型多阶段数据增强的跨语言简讯生成方法

    技术2025-03-06  37


    本发明涉及一种跨语言简讯生成方法,具体涉及一种基于大模型多阶段数据增强的跨语言简讯生成方法,属于计算机自然语言处理。


    背景技术:

    1、传统的机器翻译方法在处理专业科技文献时存在着局限性,难以保证翻译的准确性和专业性。特别是随着移动互联网的普及和信息技术的快速发展,使得科技档案信息的更新速度不断加快,这也使得开发利用科技档案信息的时效性日益紧迫。为了更好地利用科技档案信息,科技简讯作为一种新型的科技信息传播方式应运而生。科技简讯是根据科技文献内容而产生的具有特定格式、关键讯息的简短讯文。

    2、跨语言简讯自动生成技术是一种利用人工智能技术,根据给定的源语言科技文献,自动生成一段简短的目标语言科技简讯的方法。它可以帮助用户快速了解不同国家的科技领域的最新动态和热点话题,节省阅读时间和精力。随着深度学习技术的飞速发展,大模型(如chatgpt等)能够更全面地捕捉跨语言文本的信息和语境。因此,利用大模型开发一种能够自动生成高质量跨语言科技简讯的方法具有重要意义。


    技术实现思路

    1、本发明的目的是为了解决现有技术的局限性,提出了一种基于大模型的多阶段数据增强跨语言科技简讯生成方法。

    2、本方法通过指令微调技术,利用英文原文和中文简讯之间的对应关系,生成适合大模型学习的指令微调语料。本发明将大模型应用于跨语言科技简讯生成领域,以及结合多阶段数据增强框架,解决了传统跨语言文本摘要任务样本不足等问题。

    3、有益效果

    4、本发明方法,与现有技术相比,具有以下优点:

    5、1.本方法通过多阶段数据增强框架,提高了模型在特定任务上的表现,同时保持了模型的泛化能力。

    6、2.本方法避免了传统跨语言任务流水线方法中的误差传播问题,并且可以更快地进行推理。

    7、3.本方法通过串行结构学习多个相关任务,并通过辅助任务数据进行增强,从共享的知识中受益,提高性能,增强泛化能力,并应对数据稀缺性。



    技术特征:

    1.一种基于大模型多阶段数据增强的跨语言简讯生成方法,其特征在于,包括以下步骤:

    2.如权利要求1所述的一种基于大模型多阶段数据增强的跨语言简讯生成方法,其特征在于,步骤1包括以下步骤:

    3.如权利要求1所述的一种基于大模型多阶段数据增强的跨语言简讯生成方法,其特征在于,步骤2.2中,模板的格式表示为:

    4.如权利要求1所述的一种基于大模型多阶段数据增强的跨语言简讯生成方法,其特征在于,步骤3包括以下步骤:

    5.如权利要求1所述的一种基于大模型多阶段数据增强的跨语言简讯生成方法,其特征在于,步骤4中,评估步骤包括:

    6.如权利要求1所述的一种基于大模型多阶段数据增强的跨语言简讯生成方法,其特征在于,步骤5包括以下步骤:


    技术总结
    本发明涉及一种基于大模型多阶段数据增强的跨语言简讯生成方法,属于计算机自然语言处理技术领域。本方法通过指令微调技术,利用英文原文和中文简讯之间的对应关系,生成适合大模型学习的指令微调语料。本发明将大模型应用于跨语言科技简讯生成领域,以及结合多阶段数据增强框架,提高了模型在特定任务上的表现,同时保持了模型的泛化能力,解决了传统跨语言文本摘要任务样本不足等问题,避免了传统跨语言任务流水线方法中的误差传播,能够更快地进行推理。本方法通过串行结构学习多个相关任务,并通过辅助任务数据进行增强,从共享的知识中受益,提高了性能,增强泛化能力,有效应对数据稀缺性。

    技术研发人员:张晓松,李春锦,张华平,李玉岗
    受保护的技术使用者:北京理工大学
    技术研发日:
    技术公布日:2024/10/24
    转载请注明原文地址:https://symbian.8miu.com/read-27364.html

    最新回复(0)