本发明涉及网络直播，尤其涉及一种网络直播视频拉流方式确定方法及装置。
背景技术：
1、网络餐饮商户的后厨直播视频的拉流方式主要包括按需拉流和全量拉流两种。网络餐饮商户的后厨直播视频预先由运营商设置拉流方式，拉流方式相对固定。
2、现有技术中，在网络餐饮商户的后厨直播视频的拉流方式预先设置后，可根据需要进行手工调整。如果网络餐饮商户大部分或全部采用按需拉流，则用户点击直播视频的时延会较大；如果网络餐饮商户大部分或全部采用全量拉流，虽然播放时延会降低，但对于运营商的并发带宽压力较大。
技术实现思路
1、本发明提供一种网络直播视频拉流方式确定方法及装置，用以解决现有技术中通过人工方式确定的拉流方式导致视频播放延时大或并发带宽压力大的缺陷，实现自适应确定网络直播视频的拉流方式，在充分利用总并发带宽的同时，最大程度降低用户点击网络直播视频等待时延。
2、本发明提供一种网络直播视频拉流方式确定方法，包括：
3、获取预设时间段内目标网络直播视频的点击量、运营商为所述目标网络直播视频提供的最大总并发带宽和预设用户点击视频平均等待时延；
4、将所述点击量、所述最大总并发带宽和所述预设用户点击视频平均等待时延输入至深度确定性策略梯度ddpg模型的执行器中，得到所述执行器输出的所述目标网络直播视频的拉流方式调整动作；
5、所述ddpg模型根据网络直播视频样本的点击量和运营商为所述网络直播视频样本提供的最大总并发带宽进行训练得到。
6、根据本发明提供的一种网络直播视频拉流方式确定方法，在所述将所述点击量、所述最大总并发带宽和所述预设用户点击视频平均等待时延输入至深度确定性策略梯度ddpg模型的执行器中，得到所述执行器输出的所述目标网络直播视频的拉流方式，之前，还包括：
7、将所述网络直播视频样本对应的点击量、最大总并发带宽和所述预设用户点击视频平均等待时延输入到所述执行器中，得到所述执行器输出的所述网络直播视频样本的拉流方式调整动作；
8、将所述网络直播视频样本对应的点击量、最大总并发带宽、所述预设用户点击视频平均等待时延和所述网络直播视频样本的拉流方式调整动作输入到所述ddpg模型的评判器中，得到所述评判器输出的所述网络直播视频样本的拉流方式调整动作的价值；
9、根据所述价值对所述执行器进行参数更新。
10、根据本发明提供的一种网络直播视频拉流方式确定方法，在所述根据所述价值对所述执行器进行参数更新之前，还包括：
11、确定所述网络直播视频样本的拉流方式调整动作执行后得到的回报；
12、根据所述回报确定所述网络直播视频样本的拉流方式调整动作的实际价值；
13、根据所述实际价值和所述评判器得到的所述网络直播视频样本的拉流方式调整动作的价值之间的差值，确定所述评判器的损失函数；
14、根据所述评判器的损失函数对所述评判器进行参数更新。
15、根据本发明提供的一种网络直播视频拉流方式确定方法，所述根据所述回报确定所述网络直播视频样本的拉流方式调整动作的实际价值，包括：
16、确定所述网络直播视频样本的拉流方式调整动作执行后，所述网络直播视频样本的新点击量；
17、根据所述网络直播视频样本的新点击量，基于所述执行器得到所述网络直播视频样本的新拉流方式调整动作；
18、根据所述新点击量和所述新拉流方式调整动作，基于所述评判器得到所述新拉流方式调整动作的新价值；
19、根据所述新拉流方式调整动作的新价值和所述回报，得到所述实际价值。
20、根据本发明提供的一种网络直播视频拉流方式确定方法，所述执行器包括第一网络和第二网络，所述第一网络和所述第二网络的结构相同且参数更新频率不同；
21、所述评判器包括第三网络和第四网络，所述第三网络和所述第四网络的结构相同且参数更新频率不同；
22、在对所述ddpg模型进行训练时，对所述第一网络和所述第三网络进行参数训练；
23、每隔预设时长将所述第一网络的参数复制给所述第二网络，将所述第三网络的参数复制给所述第四网络。
24、根据本发明提供的一种网络直播视频拉流方式确定方法，所述第一网络包括第一输入层、第二输入层、第一全连接层、第二全连接层、第一合并层、第三全连接层、舍弃层和第一输出层；
25、所述第一输入层用于输入所述目标网络直播视频或网络直播视频样本的点击量，所述第二输入层用于输入所述目标网络直播视频或网络直播视频样本对应的最大总并发带宽，以及预设用户点击视频平均等待时延；
26、所述第一输入层与所述第一全连接层连接，所述第二输入层与所述第二全连接层连接，所述第一全连接层、所述第二全连接层与所述第一合并层连接；
27、所述第一合并层、第三全连接层、舍弃层和第一输出层依次连接。
28、根据本发明提供的一种网络直播视频拉流方式确定方法，所述第三网络包括第三输入层、第四输入层、第五输入层、第四全连接层、第五全连接层、第六全连接层、第七全连接层、第八全连接层、第二合并层、第九全连接层和第二输出层；
29、所述第三输入层用于输入所述目标网络直播视频或网络直播视频样本的点击量，所述第四输入层用于输入所述目标网络直播视频或网络直播视频样本对应的最大总并发带宽，以及预设用户点击视频平均等待时延，所述第五输入层用于输入所述网络直播视频样本的拉流方式调整动作；
30、所述第三输入层与所述第四全连接层连接，所述第四全连接层与所述第五全连接层连接，所述第四输入层与所述第六全连接层连接，所述第六全连接层与所述第七全连接层连接，所述第五输入层与所述第八全连接层连接；
31、所述第五全连接层、所述第七全连接层、所述第八全连接层与所述第二合并层连接；
32、所述第二合并层、第九全连接层和第二输出层依次连接。
33、本发明还提供一种网络直播视频拉流方式确定装置，包括：
34、获取模块，用于获取预设时间段内目标网络直播视频的点击量、运营商为所述目标网络直播视频提供的最大总并发带宽和预设用户点击视频平均等待时延；
35、确定模块，用于将所述点击量、所述最大总并发带宽和所述预设用户点击视频平均等待时延输入至深度确定性策略梯度ddpg模型的执行器中，得到所述执行器输出的所述目标网络直播视频的拉流方式调整动作；
36、所述ddpg模型根据网络直播视频样本的点击量和运营商为所述网络直播视频样本提供的最大总并发带宽进行训练得到。
37、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述网络直播视频拉流方式确定方法。
38、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述网络直播视频拉流方式确定方法。
39、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述网络直播视频拉流方式确定方法。
40、本发明提供的网络直播视频拉流方式确定方法及装置，通过在深度确定性策略梯度ddpg模型的基础上，引入预设时间段内目标网络直播视频的点击量作为状态，将可提供的最大总并发带宽及用户点击视频平均等待时延作为多条件，利用ddpg模型在连续动作空间预测上的优势来预估目标网络直播视频所需的最佳直播拉流方式，ddpg模型中的执行器从多条件数据中学习目标网络直播视频的拉流方式调整的限制，从目标网络直播视频的状态中学习视频的运行情况，选取能够最大程度降低用户点击视频平均等待时延，同时提升总并发带宽利用率的动作，从而在充分利用总并发带宽的同时，降低用户点击视频平均等待时延，提升用户对网络直播视频的体验。
1.一种网络直播视频拉流方式确定方法，其特征在于，包括：
2.根据权利要求1所述的网络直播视频拉流方式确定方法，其特征在于，在所述将所述点击量、所述最大总并发带宽和所述预设用户点击视频平均等待时延输入至深度确定性策略梯度ddpg模型的执行器中，得到所述执行器输出的所述目标网络直播视频的拉流方式，之前，还包括：
3.根据权利要求2所述的网络直播视频拉流方式确定方法，其特征在于，在所述根据所述价值对所述执行器进行参数更新之前，还包括：
4.根据权利要求3所述的网络直播视频拉流方式确定方法，其特征在于，所述根据所述回报确定所述网络直播视频样本的拉流方式调整动作的实际价值，包括：
5.根据权利要求2-4任一所述的网络直播视频拉流方式确定方法，其特征在于，所述执行器包括第一网络和第二网络，所述第一网络和所述第二网络的结构相同且参数更新频率不同；
6.根据权利要求5所述的网络直播视频拉流方式确定方法，其特征在于，所述第一网络包括第一输入层、第二输入层、第一全连接层、第二全连接层、第一合并层、第三全连接层、舍弃层和第一输出层；
7.根据权利要求5所述的网络直播视频拉流方式确定方法，其特征在于，所述第三网络包括第三输入层、第四输入层、第五输入层、第四全连接层、第五全连接层、第六全连接层、第七全连接层、第八全连接层、第二合并层、第九全连接层和第二输出层；
8.一种网络直播视频拉流方式确定装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述网络直播视频拉流方式确定方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述网络直播视频拉流方式确定方法。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述网络直播视频拉流方式确定方法。
