本技术涉及自然语言处理，具体涉及一种提示学习方法以及相关设备。
背景技术：
1、随着全球化的发展，在实际的语言处理场景中，用户常常希望实现跨语言的应用。为此，各种大规模预训练语言模型已经在自然语言处理领域得到广泛应用。在大型多语言数据集上预训练过的语言模型，学到了多语言的知识，具备了很好的迁移学习的能力。
2、目前，一种跨语言迁移的方式为基于提示学习(prompt learning)的跨语言迁移学习方法。
3、在提示学习中，可以在不显著改变预训练语言模型的结构和参数的情况下，通过向输入数据增加“提示信息”来重新制定下游任务，使其形式与预训练阶段靠近，减小了预训练的任务和下游任务之间的差距，从而减少了对下游任务数据的需求，使预训练语言模型更好地解决下游任务。
4、然而，在跨语言迁移中，对于各种目标语言，目前的提示学习的方式所使用的提示都是相同的基于源语言的提示，将该基于源语言的提示不利于预训练语言模型的跨语言迁移，导致跨语言迁移后对目标语言的任务的处理性能较差。
技术实现思路
1、本技术提供一种提示学习方法，以解决在跨语言迁移后，目标语言对应的任务处理性能较差的问题。本技术还提供了相应的装置、设备、计算机可读存储介质和计算机程序产品等。
2、本技术第一方面提供一种提示学习方法，该方法包括：获取至少一组数据对，任意一组数据对包括第一数据和第二数据，第一数据包括第一提示和采用源语言的第一语料，第二数据包括第二提示和采用目标语言的第二语料，第一语料和第二语料组成一对平行语料；根据至少一组数据对以及预训练语言模型进行提示学习，以使得训练后的预训练语言模型能够根据训练后的第二提示执行基于目标语言的自然语言处理任务，预训练语言模型为根据采用源语言的训练数据和采用目标语言的训练数据进行预训练而得到的。
3、在第一方面中，预训练语言模型处理基于源语言的自然语言处理任务的能力通常优于处理基于目标语言的自然语言处理任务的能力。在训练过程中，预训练语言模型和/或第二提示等参数可以根据由平行语料所构建的数据对进行调整，以使得训练后的预训练语言模型和/或训练后的第二提示能够对齐源语言和目标语言，以更好地学习到目标语言的知识，从而实现跨语言迁移，使得训练后的预训练语言模型能够根据训练后的第二提示较为准确地执行基于目标语言的自然语言处理任务，缓解了跨语言迁移过程中由于语言表征差异性所带来的性能损失，使得训练后的预训练语言模型基于训练后的第二提示执行基于目标语言的自然语言处理任务等下游任务时，具备更优的跨语言理解能力，从而提升了执行相关下游任务时的准确性。
4、在第一方面的一种可能的实现方式中，第一提示和第二提示为连续提示。
5、目前，在通过提示学习进行跨语言迁移时，传统方案中，采用离散提示的方式来进行跨语言迁移，并且对于所有目标语言均适用相同的源语言(例如英语)提示模板和提示，这种方式很难捕捉到自然语言处理任务中特定于目标语言的特征，并且离散提示主要基于人工经验，也会对跨语言迁移后的性能带来不利影响。
6、该种可能的实现方式中，第一提示和第二提示均为连续提示，此时，第一提示中的提示参数可以包括长度和内容可学习的第一张量，第二提示中的提示参数也可以包括长度和内容可学习的第二张量。
7、这样，可以不需要手动设计第一提示和第二提示，而是可在训练过程中优化可学习的第一提示和第二提示，可以在预训练语言模型的人工构建的词汇表之外的空间找到更优的提示参数，从而提升跨语言迁移后的处理性能。
8、在第一方面的一种可能的实现方式中，第一数据包括第一掩码，第二数据包括第二掩码，提示学习包括多次迭代过程；根据至少一组数据对以及预训练语言模型进行提示学习，包括：在多次迭代过程的第n次迭代过程中：将第n次迭代过程的第一数据以及第n次迭代过程的第二数据输入第n次迭代过程的预训练语言模型，获得第n次迭代过程的预训练语言模型关于第n次迭代过程的第一掩码的第一输出结果，以及关于第n次迭代过程的第二掩码的第二输出结果，n为正整数；根据第一输出结果、第二输出结果以及第一损失函数，对第n次迭代过程的第一提示和第n次迭代过程的第二提示进行更新，第一损失函数用于评估第一输出结果的概率空间与第二输出结果的概率空间之间的差异。
9、该种可能的实现方式中，示例性地，通过第一损失函数可以计算第一输出结果和第二输出结果之间的kullback-leibler散度损失(kullback-leibler divergence loss，kld loss)并正则化，以获得第一损失值。然后，可以根据该第一损失值更新第n次迭代过程的第一提示和第n次迭代过程的第二提示，以使得第一输出结果对应的概率分布和第二输出结果对应的概率分布尽可能地接近，从而对齐源语言和目标语言，有利于训练后的预训练语言模型根据训练后的第二提示更好地理解采用目标语言的数据，从而有利于执行目标语言相关的任务。
10、在第一方面的一种可能的实现方式中，第二提示为通过提示转换模块对第一提示进行转换而得到的。
11、该种可能的实现方式中，可以通过提示转换模块，实现第一提示到第二提示之间的转换，从而减小不同语言之间的语言表征差异性。
12、在提示学习中，第一提示和第二提示以及提示转换模块均可以根据包括平行语料的数据对，进行参数调整，从而使得训练后的提示转换模块能够对齐源语言和目标语言的提示，减小了不同语言之间的语言表征差异性，使得训练后的第二提示可以更好地表征目标语言的信息，有利于执行基于目标语言的自然语言处理任务。
13、在第一方面的一种可能的实现方式中，第一数据包括第一掩码，第二数据包括第二掩码，提示学习包括多次迭代过程；根据至少一组数据对以及预训练语言模型进行提示学习，包括：在多次迭代过程的第n次迭代过程中：将第n次迭代过程的第一数据以及第n次迭代过程的第二数据输入第n次迭代过程的预训练语言模型，获得第n次迭代过程的预训练语言模型关于第n次迭代过程的第一掩码的第一输出结果，以及关于第n次迭代过程的第二掩码的第二输出结果，n为正整数；根据第一输出结果以及第二输出结果，对第n次迭代过程的第一提示以及第n次迭代过程的提示转换模块进行更新；通过第n次迭代过程中更新后的提示转换模块，对第n次迭代过程中更新后的第一提示进行转换，获得第n次迭代过程中更新后的第二提示。
14、该种可能的实现方式中，可以根据第一输出结果和第二输出结果，对第n次迭代过程的第一提示以及第n次迭代过程的提示转换模块进行更新，以使得第一输出结果对应的概率分布和第二输出结果对应的概率分布尽可能地接近，从而减小了语言表征的差异性，有利于训练后的预训练语言模型根据训练后的第二提示理解采用目标语言的数据，从而有利于执行目标语言相关的任务。
15、在第一方面的一种可能的实现方式中，第n次迭代过程的第一数据对应有第一标签；根据至少一组数据对以及预训练语言模型进行提示学习，包括：根据第一输出结果、第二输出结果、第n次迭代过程的第一数据对应的第一标签以及第二损失函数，对第n次迭代过程的第一提示和/或第n次迭代过程的预训练语言模型进行更新，第二损失函数用于评估第一输出结果与第n次迭代过程的第一数据对应的第一标签之间的差异。
16、该种可能的实现方式中，在提示学习中，可以根据该第一数据对应的第一标签，以及第一数据对应的第一输出结果之间的差异进行训练，以使得该差异趋向于减少，以使得训练后的预训练语言模型可以根据训练后的第一提示，较为准确地执行基于源语言的自然语言处理任务，提升了对源语言的自然语言处理任务的处理性能。
17、在此基础上，可以通过包含平行语料的至少一组数据对，将预训练语言模型对源语言的自然语言处理任务的较优的处理性能很好地迁移至目标语言的自然语言处理任务中，而减少语言表征差异性所带来的负面影响。
18、在第一方面的一种可能的实现方式中，该方法还包括：获取第三数据以及第三数据对应的第二标签，第三数据包括第三提示、第三掩码和采用源语言的第三语料；根据至少一组数据对以及预训练语言模型进行提示学习，包括：将第n次迭代过程的第三数据输入第n次迭代过程的预训练语言模型，获得第n次迭代过程的预训练语言模型关于第n次迭代过程的第三掩码的第三输出结果；根据第一输出结果、第二输出结果、第三输出结果以及第n次迭代过程的第三数据对应的第二标签，对第n次迭代过程的第一提示以及第n次迭代过程的第二提示，和/或，第n次迭代过程的预训练语言模型进行更新。
19、该种可能的实现方式中，在提示学习中，输入数据不仅包括包含有平行语料和连续提示的数据对，还包括作为标注数据的第三数据。
20、这样，可以根据多种数据，以较为丰富的数据信息进行训练，从而使得源语言的自然语言处理任务的处理性能以及从源语言到目标语言的跨语言迁移后的处理性能都得到全面提升，使得跨语言迁移后，训练后的预训练语言模型能够根据训练后的第二提示，准确地执行基于目标语言的自然语言处理任务。
21、在第一方面的一种可能的实现方式中，第三提示为离散提示；根据第一输出结果、第二输出结果、第三输出结果以及第n次迭代过程的第三数据对应的第二标签，对第n次迭代过程的第一提示以及第n次迭代过程的第二提示，和/或，第n次迭代过程的预训练语言模型进行更新，包括：根据第一输出结果、第二输出结果、第三输出结果以及第n次迭代过程的第三数据对应的第二标签，对第n次迭代过程的预训练语言模型进行更新；根据第一输出结果以及第二输出结果，对第n次迭代过程的第一提示和第n次迭代过程的第二提示进行更新。
22、在第一方面的一种可能的实现方式中，第三提示为连续提示；第二提示为通过提示转换模块对第一提示进行转换而得到的；根据第一输出结果、第二输出结果、第三输出结果以及第n次迭代过程的第三数据对应的第二标签，对第n次迭代过程的第一提示以及第n次迭代过程的第二提示，和/或，第n次迭代过程的预训练语言模型进行更新，包括：根据第一输出结果、第二输出结果、第三输出结果以及第n次迭代过程的第三数据对应的第二标签，对第n次迭代过程的第三提示和第n次迭代过程的提示转换模块进行更新；将第n次迭代过程中更新后的第三提示作为第n次迭代过程中更新后的第一提示。
23、本技术第二方面提供一种提示学习装置，该装置具有实现上述第一方面或第一方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块，例如获取模块以及训练模块等。
24、本技术第三方面提供一种计算设备集群，该计算设备集群包括至少一个计算设备，每个计算设备包括处理器和存储器，至少一个计算设备的存储器中存储有可在处理器上运行的计算机执行指令，当计算机执行指令被处理器执行时，处理器执行如上述第一方面或第一方面任意一种可能的实现方式的方法。
25、本技术第四方面提供一种存储一个或多个计算机执行指令的计算机可读存储介质，当计算机执行指令被计算设备集群执行时，计算设备集群执行如上述第一方面或第一方面任意一种可能的实现方式的方法。
26、本技术第五方面提供一种存储一个或多个计算机执行指令的计算机程序产品，该计算机程序产品包含计算机执行指令，当计算机执行指令被计算设备集群执行时，计算设备集群执行如上述第一方面或第一方面任意一种可能的实现方式的方法。
27、本技术第六方面提供了一种芯片系统，该芯片系统包括处理器，用于支持计算设备集群实现上述第一方面或第一方面任意一种可能的实现方式中所涉及的功能。在一种可能的设计中，芯片系统还可以包括存储器，存储器用于保存必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。
28、其中，第二方面至第六方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面的相关可能实现方式所带来的技术效果，此处不再赘述。
1.一种提示学习方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述第一提示和所述第二提示为连续提示。
3.根据权利要求2所述的方法，其特征在于，所述第一数据包括第一掩码，所述第二数据包括第二掩码，提示学习包括多次迭代过程；
4.根据权利要求2或3所述的方法，其特征在于，所述第二提示为通过提示转换模块对所述第一提示进行转换而得到的。
5.根据权利要求4所述的方法，其特征在于，所述第一数据包括第一掩码，所述第二数据包括第二掩码，提示学习包括多次迭代过程；
6.根据权利要求3或5所述的方法，其特征在于，所述第n次迭代过程的第一数据对应有第一标签；
7.根据权利要求3或5所述的方法，其特征在于，所述方法还包括：
8.根据权利要求7所述的方法，其特征在于，第三提示为离散提示；
9.根据权利要求7所述的方法，其特征在于，所述第三提示为连续提示，所述第二提示为通过提示转换模块对所述第一提示进行转换而得到的；
10.一种提示学习装置，其特征在于，包括：
11.根据权利要求10所述的装置，其特征在于，所述第一提示和所述第二提示为连续提示。
12.根据权利要求11所述的装置，其特征在于，所述第一数据包括第一掩码，所述第二数据包括第二掩码，提示学习包括多次迭代过程；
13.根据权利要求11或12所述的装置，其特征在于，所述第二提示为通过提示转换模块对所述第一提示进行转换而得到的。
14.根据权利要求13所述的装置，其特征在于，所述第一数据包括第一掩码，所述第二数据包括第二掩码，提示学习包括多次迭代过程；
15.根据权利要求12或14所述的装置，其特征在于，所述第n次迭代过程的第一数据对应有第一标签；
16.根据权利要求12或14所述的装置，其特征在于，
17.根据权利要求16所述的装置，其特征在于，第三提示为离散提示；
18.根据权利要求16所述的装置，其特征在于，所述第三提示为连续提示，所述第二提示为通过提示转换模块对所述第一提示进行转换而得到的；
19.一种计算设备集群，其特征在于，包括至少一个计算设备，每个计算设备包括处理器和存储器；
20.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当所述计算机程序指令由计算设备集群执行时，所述计算设备集群执行如权利要求1-9任一项所述的方法。
