本发明涉及分布式能源系统的能量管理，具体而言，涉及一种分布式能源系统的能量管理方法、分布式能源系统的能量管理装置、计算机可读存储介质和计算机程序产品。
背景技术：
1、分布式能源系统包括光伏发电机组、燃气发电机组和储能设备，分布式能源系统通常位于需求侧附近，直接面向用户，并按照用户的需求就近生产并供应能量，分布式能源系统的能量管理是分布式能源系统的核心，分布式能源系统的能量管理是指协调控制分布式能源系统中的燃料发电机组以及储能设备的有功出力，目前，分布式能源系统的能量管理方法存在的问题如下：
2、决策分布式能源系统中的燃料发电机组以及储能设备的有功出力的过程中，没有考虑燃料发电机组、光伏发电机组和储能设备发电的随机性和需求侧的各用电设备对有功功率需求的不确定性。
3、不能实时做出决策。
4、目前针对上述问题，暂无解决方案。
技术实现思路
1、本技术的主要目的在于提供一种分布式能源系统的能量管理方法、分布式能源系统的能量管理装置、计算机可读存储介质和计算机程序产品，以至少解决现有技术中的分布式能源系统的能量管理方法没有考虑燃料发电机组、光伏发电机组以及储能设备发电的随机性和需求侧的各用电设备对有功功率需求的不确定性的问题。
2、为了实现上述目的，根据本技术的一个方面，提供了一种分布式能源系统的能量管理方法，分布式能源系统包括：光伏发电机组、燃气发电机组和储能设备，所述方法包括：获取d时刻的状态数据，所述d时刻的所述状态数据包括：所述d时刻下各所述光伏发电机组输出的有功功率、所述d时刻下所述分布式能源系统的需求侧的各用电设备消耗的有功功率、d-1时刻下各所述燃气发电机组输出的有功功率、所述d时刻下各所述储能设备的soc值；将所述d时刻的所述状态数据输入能量管理模型，得到所述d时刻的动作数据，所述能量管理模型为基于sac算法构建得到的，所述d时刻的所述动作数据包括：所述d时刻下各所述燃气发电机组输出的有功功率、所述d时刻下的各所述储能设备输出的有功功率。
3、可选地，所述sac算法包括：状态动作值网络和策略网络，所述状态动作值网络的输入为所述状态数据和所述动作数据，所述状态动作值网络的输出为价值评估值，所述价值评估值表示所述状态数据下做出所述动作数据的价值的大小，所述策略网络的输入为所述状态数据，所述策略网络的输出为所述动作数据，在将所述d时刻的所述状态数据输入能量管理模型，得到所述d时刻的动作数据之前，所述方法还包括：初始化步骤，初始化所述状态动作值网络的参数和所述策略网络的参数，初始化经验轨迹池；选择步骤，将t时刻的所述状态数据输入所述策略网络，得到所述t时刻的所述动作数据；处理步骤，在所述分布式能源系统的仿真环境中执行所述t时刻的所述动作数据之后，采用奖励函数计算所述t时刻的奖励值，且获取t+1时刻的所述状态数据；存储步骤，生成所述t时刻的经验轨迹向量，并将所述t时刻的所述经验轨迹向量储存到所述经验轨迹池中，所述t时刻的所述经验轨迹向量为：dt＝(st,at,rt,st+1)，st为所述t时刻的所述状态数据，at为所述t时刻的所述动作数据，rt为所述t时刻的奖励值，st+1为t+1时刻的所述状态数据；第一重复步骤，依次增大t的值，重复所述选择步骤、所述处理步骤和所述存储步骤t次结束，t为正整数；第一更新步骤，从所述经验轨迹池中随机抽样所述经验轨迹向量对所述策略网络的参数进行更新；第二更新步骤，从所述经验轨迹池中随机抽样所述经验轨迹向量对所述状态动作值网络的参数进行更新；第二重复步骤，重复所述第一重复步骤、所述第一更新步骤和所述第二更新步骤k次结束，k为正整数。
4、可选地，所述第一更新步骤，包括：从所述经验轨迹池中随机抽样所述经验轨迹向量，根据所述策略网络的更新规则、所述策略网络的更新梯度和所述策略网络的训练目标函数对所述策略网络的参数进行更新，其中，所述策略网络的更新规则为：
5、θ为所述策略网络的参数，λπ为所述策略网络的学习率，所述策略网络的更新梯度为：
6、α是温度系数，πθ(at|st)为所述策略网络，qμ(st,at)为所述状态动作值网络，at＝fφ(εtt；st)，εt为噪声向量，所述策略网络的训练目标函数：
7、jπ(θ)＝e[αlogπθ(fφ(εt；st)|st)-qμ(st,fφ(εt；st))]。
8、可选地，所述第二更新步骤，包括：从所述经验轨迹池中随机抽样所述经验轨迹向量，基于所述经验轨迹向量，采用所述状态动作值网络的更新规则、所述状态动作值网络的更新梯度和所述状态动作值网络的训练目标函数对所述状态动作值网络的参数进行更新，其中，所述状态动作值网络的更新规则为：
9、其中，μ为所述状态动作值网络的参数，λq为状态动作值网络的学习率；所述状态动作值网络的更新梯度为：
10、qμ(st,at)为所述状态动作值网络，rt(st,at)为所述奖励函数，γ为折扣因子，qμ'(st+1,at+1)为目标状态动作值网络，α是温度系数，πθ(at+1|st+1)为所述策略网络，at+1为所述t+1时刻的所述动作数据，θ为所述策略网络的参数；所述状态动作值网络的训练目标函数为：
11、
12、v(st+1)＝e[qμ'(st+1,at+1)-αlogπθ(at+1|st+1)]。
13、可选地，在采用奖励函数计算所述t时刻的奖励值之前，所述方法还包括：构建所述奖励函数，其中，所述奖励函数为：其中，σ1和σ2均为惩罚因子，为第i台所述燃气发电机组的运行成本函数，g为所述分布式能源系统中所述燃气发电机组的总数量，为交互成本函数，δpt为功率不平衡函数，第i台所述燃气发电机组的所述运行成本函数表示所述t时刻下第i台所述燃气发电机组的运行成本与所述t时刻下第i台所述燃气发电机组输出的有功功率之间的函数关系，所述交互成本函数表示所述t时刻下交互成本与所述t时刻的交互功率之间的函数关系，所述交互成本为所述分布式能源系统向主网购买有功功率的成本与所述分布式能源系统向所述主网出售有功功率的收益的差值，所述交互功率为所述分布式能源系统向所述主网购买有的功功率与所述分布式能源系统向所述主网出售有的功功率的差值，所述功率不平衡函数为所述t时刻下所述分布式能源系统的有功功率不平衡量与所述t时刻下各所述燃气发电机组输出的有功功率、所述t时刻下各所述光伏发电机组输出的有功功率、所述t时刻的所述交互功率、所述t时刻下各所述储能设备输出的有功功率和所述t时刻下各所述用电设备消耗的有功功率之间的函数关系。
14、可选地，在构建所述奖励函数之前，所述方法还包括：构建所述燃气发电机组的所述运行成本函数，其中，第i台所述燃气发电机组的所述运行成本函数为：
15、ai为第i台所述燃气发电机组的第一预定系数，bi第i台所述燃气发电机组的第二预定系数，ci是为所述t时刻下第i个台所述燃气发电机组的固定成本，为所述t时刻下第i台所述燃气发电机组输出的有功功率；构建所述交互成本函数，其中，所述交互成本函数为：ρt为所述t时刻下有功功率的单价，β为折扣率，ptn为所述t时刻的所述交互功率。
16、可选地，在构建所述奖励函数之前，所述方法还包括：构建功率不平衡函数，其中，所述功率不平衡函数为：为所述t时刻下第m台所述光伏发电机组输出的有功功率，v为所述分布式能源系统中的所述光伏发电机组的总数量，ptn为所述t时刻的所述交互功率，为所述t时刻下第j个所述储能设备输出的有功功率，b为所述分布式能源系统中的所述储能设备的总数量，为所述t时刻下第k个所述用电设备消耗的有功功率，l为所述分布式能源系统的需求侧的所述用电设备的总数量。
17、根据本技术的另一方面，提供了一种分布式能源系统的能量管理装置，分布式能源系统包括：光伏发电机组、燃气发电机组和储能设备，所述装置包括：获取单元，用于获取d时刻的状态数据，所述d时刻的所述状态数据包括：所述d时刻下各所述光伏发电机组输出的有功功率、所述d时刻下所述分布式能源系统的需求侧的各用电设备消耗的有功功率、d-1时刻下各所述燃气发电机组输出的有功功率、所述d时刻下各所述储能设备的soc值；输入单元，用于将所述d时刻的所述状态数据输入能量管理模型，得到所述d时刻的动作数据，所述能量管理模型为基于sac算法构建得到的，所述d时刻的所述动作数据包括：所述d时刻下各所述燃气发电机组输出的有功功率、所述d时刻下的各所述储能设备输出的有功功率；控制单元，用于控制所述分布式能源系统按照所述d时刻的所述动作数据运行。
18、根据本技术的再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述的分布式能源系统的能量管理方法。
19、根据本技术的又一方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现任意一种所述的分布式能源系统的能量管理方法。
20、应用本技术的技术方案，本技术的动作数据包括：各燃气发电机组输出的有功功率、各储能设备输出的有功功率，本技术在确定动作数据时，考虑到了状态数据，状态数据包括：各光伏发电机组输出的有功功率、分布式能源系统的需求侧的各用电设备消耗的有功功率、各燃气发电机组输出的有功功率、各储能设备的soc值，即本技术在决策分布式能源系统中的燃料发电机组以及储能设备的有功出力的过程中，考虑了燃料发电机组、光伏发电机组和储能设备发电的随机性和需求侧的各用电设备对有功功率需求的不确定性，从而解决了现有技术中的分布式能源系统的能量管理方法没有考虑燃料发电机组、光伏发电机组以及储能设备发电的随机性和需求侧的各用电设备对有功功率需求的不确定性的问题。
1.一种分布式能源系统的能量管理方法，其特征在于，分布式能源系统包括：光伏发电机组、燃气发电机组和储能设备，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述sac算法包括：状态动作值网络和策略网络，所述状态动作值网络的输入为所述状态数据和所述动作数据，所述状态动作值网络的输出为价值评估值，所述价值评估值表示所述状态数据下做出所述动作数据的价值的大小，所述策略网络的输入为所述状态数据，所述策略网络的输出为所述动作数据，在将所述d时刻的所述状态数据输入能量管理模型，得到所述d时刻的动作数据之前，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述第一更新步骤，包括：
4.根据权利要求2所述的方法，其特征在于，所述第二更新步骤，包括：
5.根据权利要求2或4所述的方法，其特征在于，在采用奖励函数计算所述t时刻的奖励值之前，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，在构建所述奖励函数之前，所述方法还包括：
7.根据权利要求5所述的方法，其特征在于，在构建所述奖励函数之前，所述方法还包括：
8.一种分布式能源系统的能量管理装置，其特征在于，分布式能源系统包括：光伏发电机组、燃气发电机组和储能设备，所述装置包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的分布式能源系统的能量管理方法。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7中任意一项所述的分布式能源系统的能量管理方法。
