基于双层强化学习方法的多能园区实时经济调度

综合能源系统(integratedenergysystem,IES)中复杂的能量耦合关系、可再生能源出力和负荷等因素的不确定性,给IES的实时调度带来了诸多挑战。鉴于此,提出了一种双层强化学习(reinforcement learning,RL)模型以实现IES的实时经济调度。该模型上层是一个RL智能体,下层为优化求解器,将RL和传统优化方法进行了结合,可简化RL的动作和奖励设计,提高其训练速度和收敛性能,解决动作具有复杂约束的RL问题。该模型仅根据IES的即时信息进行决策,不依赖于对负荷、可再生能源出力的准确预测。多能园区经济调度中的成功应用表明双层模型可以得到接近于拥有完美预测信息的动态规划的性能,同时求解速度大幅提高,可以实现IES的实时调度。