本申请涉及路径规划领域，特别是涉及一种用于药品配送车辆的路径规划方法、设备及产品。
背景技术：
1、车辆路径规划技术的应用领域非常广泛，比如物流与配送、公共交通规划、医疗服务规划等。在医疗中，运用车辆路径规划技术来设计药品配送车的路线成为提升服务效率、减少运输距离的关键策略。对于急需的药物，配送的时效为最关键要素，且现代城市复杂的交通受多种因素影响在很大程度上决定通行速度，从而影响医院获取药物后对病人进行及时治疗。因此，在药物配送问题上，车辆路径规划方法的研究至关重要。
2、在求解车辆路径规划问题时，传统算法如贪婪算法、分支限界法或动态规划等，虽然在特定情况下表现出不错的效率和准确性，但它们在处理大规模或复杂度较高的车辆路径规划问题时面临着显著的局限性。首先，这些算法往往依赖于严格的数学公式和规则，使得它们在应对实际问题中常见的各种约束和多目标优化需求时显得不够灵活，泛化性不足，传统算法很难直接应用或需要对算法进行复杂的修改。此外，这些算法在面对问题规模急剧增加时，计算资源消耗急剧上升，运算时间可能呈指数级增长，限制了它们在实际大规模物流系统中的应用。
3、因此，亟需提供一种药品配送车辆进行路径规划的方法，以解决传统算法无法快速在有大规模配送需求节点时得到最佳路径规划的问题，从而降低药品配送成本和时间。
技术实现思路
1、本申请的目的是提供一种用于药品配送车辆的路径规划方法、设备及产品，能够降低药品配送成本，并提高药品配送效率。
2、为实现上述目的，本申请提供了如下方案：
3、第一方面，本申请提供了一种用于药品配送车辆的路径规划方法，所述用于药品配送车辆的路径规划方法包括：
4、构建指针网络模型；所述指针网络模型包括：一维卷积编码器、gru解码器和注意力机制；
5、根据指针网络模型和mask机制模块构建策略网络；
6、根据基准问题集solomon生成随机数据集，采用带critic基线的策略梯度方法训练策略网络，得到车辆路径规划模型；所述随机数据集包括：环境观测量；所述环境观测量包括：节点数量及其对应坐标、药品仓库、车辆载荷重量以及节点的随机药品需求；所述节点为有药物需求的配送城市；车辆路径规划模型以节点数量及对应坐标、药品仓库、车辆载荷重量以及节点的随机药品需求为输入，以最短配送路径为输出；
7、获取待配送药物的环境观测量，并利用待配送药物的环境观测量确定最短配送路径。
8、可选地，策略网络的输出层使用softmax函数。
9、可选地，所述策略梯度方法为蒙特卡洛策略梯度算法。
10、可选地，带critic基线的策略梯度方法利用critic baseline估计当前状态下的价值。
11、可选地，带critic基线的策略梯度方法的训练过程为：
12、确定当前的策略网络的参数和critic网络的参数；
13、利用策略网络控制智能体容载量c的小车从起始节点开始，经过不停往返装卸运输满足所有节点的需求，得到一次决策序列；
14、根据当前的决策序列中节点的坐标确定回报reward；
15、利用作为基线作用的critic网络进行状态价值的预测，并确定预测误差；
16、根据节点编号和对应的执行装载的货物量确定critic网络的输入，进行反向传播计算，进而更新critic网络的参数；
17、以critic网络的输入进行反向传播计算，进行随机梯度上升，进而更新策略网络的参数。
18、第二方面，本申请提供了一种用于药品配送车辆的路径规划设备，所述用于药品配送车辆的路径规划设备包括：
19、指针网络模型构建模块，用于构建指针网络模型；所述指针网络模型包括：一维卷积编码器、gru解码器和注意力机制；
20、策略网络构建模块，用于根据指针网络模型和mask机制模块构建策略网络；
21、车辆路径规划模型确定模块，用于根据基准问题集solomon生成随机数据集，采用带critic基线的策略梯度方法训练策略网络，得到车辆路径规划模型；所述随机数据集包括：环境观测量；所述环境观测量包括：节点数量及其对应坐标、药品仓库、车辆载荷重量以及节点的随机药品需求；所述节点为有药物需求的配送城市；车辆路径规划模型以节点数量及其对应坐标、药品仓库、车辆载荷重量以及节点的随机药品需求为输入，以最短配送路径为输出；
22、路径规划模块，用于获取待配送药物的环境观测量，并利用待配送药物的环境观测量确定最短配送路径。
23、第三方面，本申请提供了一种计算机设备，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现所述的用于药品配送车辆的路径规划方法。
24、第四方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述的用于药品配送车辆的路径规划方法。
25、根据本申请提供的具体实施例，本申请公开了以下技术效果：
26、本申请提供了一种用于药品配送车辆的路径规划方法、设备及产品，通过指针网络构建策略网络，利用指针网络中的编码器处理特征，之后通过解码器和注意力机制基于当前状态输出下一个访问节点的概率分布；通过采用带critic基线的策略梯度方法训练策略网络，得到车辆路径规划模型；通过引入critic网络可以减小策略梯度的方差，从而提高算法的稳定性和收敛速度；根据基准问题集solomon生成随机数据来训练模型参数，训练完成后根据实际情况抽象出节点的需求信息和坐标信息、车辆容载量和当前位置，输入模型得到最优规划方案；利用车辆路径规划模型生成最优化的路径选择，从而减少总行驶距离，降低成本。
1.一种用于药品配送车辆的路径规划方法，其特征在于，所述用于药品配送车辆的路径规划方法包括：
2.根据权利要求1所述的用于药品配送车辆的路径规划方法，其特征在于，策略网络的输出层使用softmax函数。
3.根据权利要求1所述的用于药品配送车辆的路径规划方法，其特征在于，所述策略梯度方法为蒙特卡洛策略梯度算法。
4.根据权利要求1所述的用于药品配送车辆的路径规划方法，其特征在于，带critic基线的策略梯度方法利用critic baseline估计当前状态下的价值。
5.根据权利要求1所述的用于药品配送车辆的路径规划方法，其特征在于，带critic基线的策略梯度方法的训练过程为：
6.一种用于药品配送车辆的路径规划设备，其特征在于，所述用于药品配送车辆的路径规划设备包括：
7.一种计算机设备，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-5中任一项所述的用于药品配送车辆的路径规划方法。
8.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-5中任一项所述的用于药品配送车辆的路径规划方法。
