本技术涉及配电网管理，尤其涉及一种需求响应闭环控制方法、系统、设备及介质。
背景技术：
1、需求响应闭环控制在现代配电网管理中扮演着至关重要的角色。闭环控制策略可有效减轻网络负载波动，优化发电资源配置，提升能源使用效率，有助于平衡供需关系。尤其在需求高峰时，需求响应闭环控制可以动态地调配资源，通过激发需求侧参与，促进低碳经济和智能能源系统的发展。然而，高比例分布式源荷储资源接入配电网，风电、光电等新能源出力呈现高度的随机性与波动性，用户侧功率波动、电压不稳定等问题给需求响应闭环反馈、配电网的安全稳定运行带来了巨大挑战。
2、微电网运营商可以通过控制器将分布式电源、储能、可控负荷等用户侧资源进行聚合，以参与需求响应，在降低配电网网损的同时提高需求响应收益，实现配电网与用户的互利共赢。
3、现有需求响应闭环控制手段通常考虑可再生能源的不确定性以及微电网日前和日内时间尺度的运行特性，采用鲁棒优化方法，根据响应结果调整实施方案，实现闭环控制，降低调度成本，提高计算速度。而深度q网络(deep q-network，dqn)算法是一种让智能体学习如何在环境中采取行动以最大化某种累积奖励的机器学习方法，具有高计算效率和良好收敛特性的优势，可以实现需求响应闭环控制优化调控。
4、但是，现有需求响应闭环控制技术主要存在以下问题：没有考虑到电网-通信网双网耦合的不确定性以及需求响应系统闭环反馈手段，无法根据响应结果精准调整需求响应决策，导致用户侧资源参与需求响应模型的鲁棒性、实时性以及准确性下降，难以实现需求响应精准功率闭环控制和优化决策。并且，没有考虑突发断电对需求响应闭环反馈的影响，导致在突发断电时对高保电优先级负荷进行削减，难以保障高保电优先级负荷的持续供电稳定性。进一步地面向单一智能体决策反馈学习的深度强化学习方法，没有考虑优化目标多智能体之间的对抗性，不适用于求解经过鲁棒对等变换得到的min-max双层优化问题，存在收敛速度慢、寻优能力差、鲁棒性难以保障的问题，难以实现数据驱动的用户侧资源需求响应精准闭环控制。
技术实现思路
1、本技术提供了一种需求响应闭环控制方法、系统、设备及介质，用于实现双网运行不确定性下的需求响应闭环控制，提高算法的收敛程度和寻优能力，提高配电网运行的稳定性。
2、有鉴于此，本技术第一方面提供了一种需求响应闭环控制方法，应用于由配电网调度中心、微电网运营商、源网荷储可控资源构成的技术架构；其中，所述微电网运营商通过微电网控制器调控所述源网荷储可控资源；
3、方法包括：
4、s1、以最小化配电网网损和微电网运营商收益加权差为优化目标，建立电网-通信网双网运行不确定性两阶段鲁棒优化模型；
5、s2、在所述微电网运营商构建智能体agentmax和智能体agentmin用以求解最大化问题和最小化问题，并设计智能体agentmax和智能体agentmin对应的基于突发断电感知的状态空间以确定节点可控资源的紧急调控偏好集合，以及设计动作空间和奖励函数，其中，智能体agentmax和智能体agentmin均包括对应的评估网络、目标网络和经验回放池；
6、s3、初始化迭代次数，并根据所述奖励函数初始化迭代停止条件，以及所述电网-通信网双网运行不确定性两阶段鲁棒优化模型的不确定变量；
7、s4、通过智能体agentmax和智能体agentmin确定当前可观测状态，并输入至所述评估网络，并采用∈-greedy策略选取当前状态-动作价值最大的第一动作，同时智能体agentmax和智能体agentmin执行所述第一动作并计算奖励；
8、s5、判断是否满足所述迭代停止条件，若是，输出此时段所述电网-通信网双网运行不确定性模型的最优解，并将调控决策下发至所述微电网控制器，否则更新迭代次数并返回步骤s4；
9、s6、当所述源网荷储可控资源响应所述调控决策后，计算此时段的网损和收益，以及生成智能体agentmax和智能体agentmin的动作链并存入所述经验回放池，并从所述经验回放池抽取经验数据分别计算智能体agentmax和智能体agentmin的时序差分误差；
10、s7、根据时序差分误差更新所述评估网络的参数以及所述目标网络的参数，并判断当前时段t是否大于总时段t，若是则结束优化，否则更新时段后返回步骤s3。
11、可选地，所述电网-通信网双网运行不确定性两阶段鲁棒优化模型表示为：
12、
13、其中，电网-通信网双网运行不确定性两阶段鲁棒优化模型的约束条件包括：配电网支路潮流约束、节点电压与线路电流的安全约束以及可控资源的出力约束；
14、式中，为优化目标，表示最小化配电网网损和微电网运营商收益加权差，x是确定性决策量集合，由源网荷储可控资源出力的集合构成，y是不确定变量集合，由电网各节点不确定性因子αi,t组成，在区间[-1,1]内任意取值。
15、可选地，所述基于突发断电感知的状态空间表示为：
16、
17、式中，和分别为t时段配电网向微电网运营商中的分布式光伏、储能装置和可控负荷支付的需求响应激励价格，为t时段储能装置向配电网购电的电价，具体价格均取决于配电网分时电价；e(t-1)＝{e1,t-1,...,ei,t-1,...,en,t-1}为t-1时段节点储能储存电量集合；和分别为另一个智能体上次迭代的奖励输出；σ(t)为突发断电指示变量，当配电网突发断电时，σ(t)＝1，否则σ(t)＝0；为节点可控资源的紧急调控偏好集合，其中z＝{dg,es,cl}表示t时段节点i处参与紧急响应的具体电力设备类型，为t时段节点i处的紧急调控偏好，具体表示为：
18、
19、式中，为突发断电下仍保有需求响应能力的可控负荷集合；为由配电网下发的t时段可控负荷保电优先级，共分为关键设备、重要设施、一般商业和居民用电、非必要用电四个优先级，可控负荷保电优先级越高对应的数值越小；为t时段配电网为紧急响应支付的价格，取决于所述源网荷储可控资源类型的分时电价；表示所述源网荷储可控资源类型的可调有功功率；为历史平均响应性能指标，表示为：
20、
21、式中，分别表示根据历史经验信息求得的电力设备需求响应的平均持续响应时间、响应速度和响应可靠性。
22、可选地，所述智能体agentmax和所述智能体agentmin的动作空间分别表示为：
23、ψmax(t)＝{ψ1,max(t),...,ψi,max(t),...,ψn,max(t)}；
24、ψmin(t)＝{ψ1,min(t),...,ψi,min(t),...,ψn,min(t)}；
25、实时所述奖励函数表示为：
26、
27、式中，为优化问题的优化目标，即最小化配电网网损和微电网运营商收益加权差；ν为平衡权重；w为较大的实数；为事件函数，若满足支路潮流约束，则反之同理，若满足可控资源出力约束，则反之
28、可选地，所述根据所述奖励函数初始化迭代停止条件，具体为：
29、
30、式中，e为距离参量。
31、可选地，所述时序差分误差表示为：
32、
33、式中，表示从所述经验池抽取的动作链数量；ψmin(t)表示动作；表示状态-动作价值函数；表示所述评估网络；hmin(t)表示配电网主站在获得奖励后通过所述目标网络更新的状态-动作价值，所述目标网络的更新公式为：
34、
35、式中，βmin∈[0,1]为折扣因子，用于衡量未来时隙奖励对当前状态-动作价值的影响，其值越大，表示未来奖励对当前动作策略影响越大，算法越注重长期收益；θmin(t)表示奖励值；smin(t+1)表示下一状态；ψmin(t+1)表示下一动作；表示所述目标网络。
36、可选地，所述评估网络的参数的更新公式为：
37、
38、式中，t mod t′表示t除以t′的余数。
39、本技术第二方面提供一种需求响应闭环控制系统，应用于由配电网调度中心、微电网运营商、源网荷储可控资源构成的技术架构；其中，所述微电网运营商通过微电网控制器调控所述源网荷储可控资源；
40、系统包括：
41、第一构建单元，用于以最小化配电网网损和微电网运营商收益加权差为优化目标，建立电网-通信网双网运行不确定性两阶段鲁棒优化模型；
42、第二构建单元，用于在所述微电网运营商构建智能体agentmax和智能体agentmin用以求解最大化问题和最小化问题，并设计智能体agentmax和智能体agentmin对应的基于突发断电感知的状态空间以确定节点可控资源的紧急调控偏好集合，以及设计动作空间和奖励函数，其中，智能体agentmax和智能体agentmin均包括对应的评估网络、目标网络和经验回放池；
43、初始化单元，用于初始化迭代次数，并根据所述奖励函数初始化迭代停止条件，以及所述电网-通信网双网运行不确定性两阶段鲁棒优化模型的不确定变量；
44、第一计算单元，用于通过智能体agentmax和智能体agentmin确定当前可观测状态，并输入至所述评估网络，并采用∈-greedy策略选取当前状态-动作价值最大的第一动作，同时智能体agentmax和智能体agentmin执行所述第一动作并计算奖励；
45、判断单元，用于判断是否满足所述迭代停止条件，若是，输出此时段所述电网-通信网双网运行不确定性模型的最优解，并将调控决策下发至所述微电网控制器，否则更新迭代次数并触发初始化模块；
46、第二计算单元，用于当所述源网荷储可控资源响应所述调控决策后，计算此时段的网损和收益，以及生成智能体agentmax和智能体agentmin的动作链并存入所述经验回放池，并从所述经验回放池抽取经验数据分别计算智能体agentmax和智能体agentmin的时序差分误差；
47、更新单元、根据时序差分误差更新所述评估网络的参数以及所述目标网络的参数，并判断当前时段t是否大于总时段t，若是则结束优化，否则更新时段后触发第一计算单元。
48、本技术第三方面提供一种需求响应闭环控制设备，所述设备包括处理器以及存储器：
49、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
50、所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的需求响应闭环控制方法的步骤。
51、本技术第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的需求响应闭环控制方法。
52、从以上技术方案可以看出，本技术具有以下优点：
53、(1)本技术提出了一种基于突发断电感知的双重对抗mdp模型，在微电网运营商构建智能体以分别求解最小化问题和最大化问题，考虑配电网突发断电的影响，基于配电网下发的负荷保电优先级、经济激励水平、用户用电偏好、需求响应历史数据等信息构建紧急调控偏好模型，在满足紧急调控可响应量大于保电计划量的前提下，构建可联通断电节点且仍能正常运行的紧急响应节点集合，能够降低大面积停电风险，保障高保电优先级负荷的持续供电稳定性。
54、(2)本技术提出了一种基于双重对抗dqn的数据驱动闭环精准鲁棒功率控制方法，通过两个智能体与配电网环境进行持续交互，学习最优需求响应闭环控制策略，并结合另一智能体的输出结果训练模型，二者互相迭代对抗进行交替迭代求解，能够提高算法的收敛速度和寻优能力，得到鲁棒最优解，实现数据驱动闭环精准鲁棒功率的精准控制。
55、(3)本技术基于双重对抗mdp模型、基于双重对抗dqn的数据驱动闭环精准鲁棒功率控制方法，实现了双网运行不确定性下的需求响应闭环控制，提高了算法的收敛程度和寻优能力，提高了配电网运行的稳定性。
1.一种需求响应闭环控制方法，其特征在于，应用于由配电网调度中心、微电网运营商、源网荷储可控资源构成的技术架构；其中，所述微电网运营商通过微电网控制器调控所述源网荷储可控资源；
2.根据权利要求1所述的需求响应闭环控制方法，其特征在于，所述电网-通信网双网运行不确定性两阶段鲁棒优化模型表示为：
3.根据权利要求1所述的需求响应闭环控制方法，其特征在于，所述基于突发断电感知的状态空间表示为：
4.根据权利要求1所述的需求响应闭环控制方法，其特征在于，所述智能体agentmax和所述智能体agentmin的动作空间分别表示为：
5.根据权利要求4所述的需求响应闭环控制方法，其特征在于，所述根据所述奖励函数初始化迭代停止条件，具体为：
6.根据权利要求1所述的需求响应闭环控制方法，其特征在于，所述时序差分误差表示为：
7.根据权利要求1所述的需求响应闭环控制方法，其特征在于，所述评估网络的参数的更新公式为：
8.一种需求响应闭环控制系统，其特征在于，应用于由配电网调度中心、微电网运营商、源网荷储可控资源构成的技术架构；其中，所述微电网运营商通过微电网控制器调控所述源网荷储可控资源；
9.一种需求响应闭环控制设备，其特征在于，所述设备包括处理器以及存储器：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-7任一项所述的需求响应闭环控制方法。
