本技术涉及人工智能领域，尤其涉及一种用于媒资推荐的模型训练及应用方法、装置和存储介质。
背景技术：
1、随着人工智能(artificial intelligence，ai)技术的快速发展和推广应用，人工智能技术开始应用在媒资推荐领域中，例如，从海量视频库中筛选符合用户历史兴趣的视频进行个性化推荐。相比于人工推荐，个性化推荐可以根据用户历史记录，结合用户特征、视频特征等，为每个用户定制化选择感兴趣的视频，真正做到千人千面的推荐效果，节省用户寻找视频的时间，提高用户满意度。
2、目前，在家庭电视推荐的方案中，往往直接利用预训练的开源模型提取视觉特征和音频特征用于用户历史行为的特征表示。但是，视觉类预训练模型所使用的训练数据集一般为自然类或人物动物类，同视频类推荐物品的视觉差距较大，提取的特征表达有限，预测结果也不准确。
技术实现思路
1、有鉴于此，本技术实施例提供了一种用于媒资推荐的模型训练及应用方法、装置和存储介质，旨在提升媒资推荐的准确性。
2、本技术实施例的技术方案是这样实现的：
3、第一方面，本技术实施例提供了一种用于媒资推荐的模型训练方法，包括：
4、获取训练样本集，所述训练样本集中的各训练样本包括用户行为序列中相邻两次点击行为对应的第一媒资数据、第二媒资数据，所述第一媒资数据包括第一文本数据和第一图像数据，所述第二媒资数据包括第二文本数据和第二图像数据；
5、对所述训练样本集基于分批次训练的方式训练媒资推荐模型，直至得到训练好的媒资推荐模型；
6、其中，所述媒资推荐模型包括：文本编码器、图像编码器和向量融合器；所述文本编码器用于对文本数据进行文本编码，产生文本向量；所述图像编码器用于对图像数据进行图像编码，产生图像向量；所述向量融合器用于对同一媒资数据的所述文本向量和所述图像向量进行融合，得到相应的媒资数据的表示向量。
7、上述方案中，所述对所述训练样本集基于分批次训练的方式训练媒资推荐模型，包括：
8、基于交替求取的第一损失值和第二损失值，分批次地训练媒资推荐模型；
9、其中，当前批次的训练样本对应的损失值为所述第一损失值和所述第二损失值中的一个，下一批次的训练样本对应的损失值为所述第一损失值和所述第二损失值中的另一个，并如此交替；所述第一损失值用于表征所述文本编码器和所述图像编码器基于掩码语言模型(masked language model，mlm)生成的损失值，所述第二损失值用于表征基于所述媒资数据的表示向量进行媒资推荐的损失值。
10、上述方案中，所述对所述训练样本集基于分批次训练的方式训练媒资推荐模型，包括：
11、基于求取的第一损失值和第二损失值进行加权求和，得到综合损失值；
12、基于所述综合损失值分批次地训练媒资推荐模型；
13、其中，所述第一损失值用于表征所述文本编码器和所述图像编码器基于掩码语言模型(mlm)生成的损失值，所述第二损失值用于表征基于所述媒资数据的表示向量进行媒资推荐的损失值。
14、上述方案中，所述方法还包括：
15、针对同一批次的各训练样本，基于所述文本编码器对所述第一文本数据、所述第二文本数据进行处理，得到与所述第一文本数据对应的第一文本向量和与所述第二文本数据对应的第二文本向量；并基于所述图像编码器对所述第一图像数据、所述第二图像数据进行处理，得到与所述第一图像数据对应的第一图像向量和与所述第二图像数据对应的第二图像向量；
16、基于mlm损失函数求取所述第一文本向量、所述第二文本向量、所述第一图像向量和所述第二图像向量的mlm损失值，并对各所述mlm损失值进行累加得到所述第一损失值。
17、上述方案中，所述第一文本向量的mlm损失值和所述第二文本向量的mlm损失值为基于词(token)级别的关键词注意的mlm损失值。
18、上述方案中，所述方法还包括：
19、针对同一批次的各训练样本，基于所述向量融合器对所述第一文本向量和所述第一图像向量进行融合以及对所述第二文本向量和所述第二图像向量进行融合，得到所述第一媒资数据对应的第一表示向量和所述第二媒资数据对应的第二表示向量；
20、将属于同一训练样本的第一表示向量和第二表示向量构成的向量对作为正样本，将属于不同训练样本的第一表示向量和第二表示向量构成的向量对作为负样本；
21、基于各向量对中两个表示向量的相似度和对应的样本标签，求取对数损失值，并对各向量对的对数损失值进行累加得到所述第二损失值。
22、上述方案中，所述对同一媒资数据的所述文本向量和所述图像向量进行融合，包括：
23、求取同一媒资数据的所述文本向量和所述图像向量的差向量；
24、将所述文本向量、所述图像向量和所述差向量进行拼接，得到拼接向量；
25、对所述拼接向量基于多层感知机进行全连接融合，得到所述媒资数据的表示向量。
26、第二方面，本技术实施例提供了一种媒资推荐方法，包括：
27、基于本技术实施例第一方面所述的方法训练得到的媒资推荐模型求取用户的当前观看的媒资数据的表示向量和媒体资源库中多个待选媒资数据的表示向量；
28、基于所述多个待选媒资数据的表示向量与所述当前观看的媒资数据的表示向量之间的相似度，选取相似度由高到低排序的前n个待选媒资数据，得到推荐媒资数据，其中，n为自然数。
29、第三方面，本技术实施例提供了一种用于媒资推荐的模型训练装置，包括：
30、获取模块，用于获取训练样本集，所述训练样本集中的各训练样本包括用户行为序列中相邻两次点击行为对应的第一媒资数据、第二媒资数据，所述第一媒资数据包括第一文本数据和第一图像数据，所述第二媒资数据包括第二文本数据和第二图像数据；
31、训练模块，用于对所述训练样本集基于分批次训练的方式训练媒资推荐模型，直至得到训练好的媒资推荐模型；
32、其中，所述媒资推荐模型包括：文本编码器、图像编码器和向量融合器；所述文本编码器用于对文本数据进行文本编码，产生文本向量；所述图像编码器用于对图像数据进行图像编码，产生图像向量；所述向量融合器用于对同一媒资数据的所述文本向量和所述图像向量进行融合，得到相应的媒资数据的表示向量。
33、第四方面，本技术实施例提供了一种媒资推荐装置，包括：
34、向量求取模块，用于基于本技术实施例第三方面所述的模型训练装置训练得到的媒资推荐模型求取用户的当前观看的媒资数据的表示向量和媒体资源库中多个待选媒资数据的表示向量；
35、媒资推荐模块，用于基于所述多个待选媒资数据的表示向量与所述当前观看的媒资数据的表示向量之间的相似度，选取相似度由高到低排序的前n个待选媒资数据，得到推荐媒资数据，其中，n为自然数。
36、第五方面，本技术实施例提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行计算机程序时，执行本技术实施例任一方面所述方法的步骤。
37、第六方面，本技术实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本技术实施例任一方面所述方法的步骤。
38、本技术实施例提供的技术方案，获取训练样本集，训练样本集中的各训练样本包括用户行为序列中相邻两次点击行为对应的第一媒资数据、第二媒资数据，第一媒资数据包括第一文本数据和第一图像数据，第二媒资数据包括第二文本数据和第二图像数据；对训练样本集基于分批次训练的方式训练媒资推荐模型，直至得到训练好的媒资推荐模型；其中，媒资推荐模型包括：文本编码器、图像编码器和向量融合器；文本编码器用于对文本数据进行文本编码，产生文本向量；图像编码器用于对图像数据进行图像编码，产生图像向量；向量融合器用于对同一媒资数据的文本向量和图像向量进行融合，得到相应的媒资数据的表示向量。由于本技术实施例的媒资推荐模型的训练过程中实现用户行为序列与跨模态特征融合的结合，其中，跨模态特征融合可以有效补充单模态数据缺失，进而能够学习到更广泛的语义特征；基于用户行为序列的模型训练，可以模拟媒资推荐的真实场景，引导模型学习方向，提升模型对用户行为序列相似度的学习能力，进而有效提升媒资推荐的准确性，改善用户体验。
1.一种用于媒资推荐的模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述对所述训练样本集基于分批次训练的方式训练媒资推荐模型，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述训练样本集基于分批次训练的方式训练媒资推荐模型，包括：
4.根据权利要求2或者3所述的方法，其特征在于，所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述第一文本向量的mlm损失值和所述第二文本向量的mlm损失值为基于词token级别的关键词注意的mlm损失值。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述对同一媒资数据的所述文本向量和所述图像向量进行融合，得到相应的媒资数据的表示向量，包括：
8.一种媒资推荐方法，其特征在于，包括：
9.一种用于媒资推荐的模型训练装置，其特征在于，包括：
10.一种媒资推荐装置，其特征在于，包括：
11.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，
12.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至8任一项所述方法的步骤。
