主动配电网运行优化的深度强化学习方法

随着分布式电源、柔性负荷等新型元素在配电网的渗透逐渐增加以及配电自动化系统、信息系统的建设,传统配电网正逐渐演变成可观可控的主动配电网(Active Distribution Network,ADN),同时系统及环境的不确定性对ADN的运行提出了新的挑战。深度强化学习(Deep Reinforcement Learning,DRL)运用数据驱动替换过程仿真,可由实时环境运行信息直接得到控制策略。本文研究DRL方法在ADN优化运行中的应用,具有重要的理论和实际意义。本文首先构建基于竞争深度Q网络(Dueling Deep Q Network,DDQN)的ADN运行优化总体框架,然后针对可中断负荷的需求响应管理和极端灾害下ADN的故障恢复控制两类具体问题,分别采用DRL方法进行自学习优化,最后结合仿真算例对所得策略进行验证。取得的创新性成果包括:1、将ADN运行建模为马尔科夫决策过程,建立基于DDQN的ADN运行优化总体框架。首先,根据控制目标及约束分别定义观测状态、控制动作以及即时回报,然后采用DRL算法对DDQN网络进行训练实现估值函数的近似,最后根据实时系统观测状态自动生成实时的ADN运行优化策略。2、为保证ADN在正常运行时的经济性,本文提出基于DDQN的可中断负荷自动需求响应架构,以调节电压和降低运行成本为目标,采用DRL算法实现系统实时运行状态到需求响应策略的直接映射。本文策略能够适应分时电价和用户日负荷波动的实际系统运行方式,在将系统电压调节到安全界限的同时,降低了系统日峰值负荷需求和运营商总运行成本。3、为提高ADN在极端灾害下的恢复力,本文提出基于DDQN的ADN故障恢复控制架构,以提高恢复力和运行经济性为目标,采用DRL算法实现实时环境和系统运行状态到ADN故障恢复控制策略的直接映射。本文策略能够适应外部环境(故障位置)以及系统运行方式(间歇性分布式电源出力、负荷波动)的不确定性影响,在所有状态下均能最大限度地恢复负荷的供电。