配电网持续无功优化的深度强化学习方法

高渗透率分布式光伏的出力波动可能导致配电网电压波动大、网损提高和电容器投切需求频繁。但配电网节点监控覆盖率低、潮流建模难度大,需要在上述不利条件下实现对台区内持续电压无功优化。采用深度强化学习的方法提出了适用于低感知度配电网的连续无功优化方法。该方法将原问题转化为一个多步马尔科夫决策过程,以最小化网损和动作成本之和为优化目标,以离散无功调节设备的投切指令为控制变量,并采用基于行动者–评论家(actor-critic)的深度强化学习算法进行求解。针对配电网缺乏完整潮流模型和观测数据的特点,分别设计了用来拟合投切策略的Actor网络和用来拟合动作价值函数的Ctritic网络。所提方法用深度神经网络直接拟合系统状态到离散无功调节设备的投切动作的函数关系,在与实际配电网的交互过程中完成网络训练。相比传统方法,该无需潮流建模和分段决策,且不依赖于日前的负荷与分布式电源出力预测,可以实现在线的多时间断面下的连续无功优化,提高了系统运行经济性。