基于深度强化学习的电力系统智能发电控制

随着大量间歇性分布式能源持续接入电网,电力系统的发电控制迎来了新的挑战,如何经济又高质量地发电成为电力工作者与研究者所关心的热点问题。本文采用先进的强化学习与深度学习解决了此问题。并研发了基于信息物理社会融合系统与平行系统的智能发电控制仿真平台,提升了智能算法的学习能力和决策能力,为解决如何经济又高质量地发电问题做出了科学贡献。本文主要创新工作如下:1.为提升强化学习算法在智能发电控制中的控制性能,提出了人工情感强化学习算法。将强化学习与人工心理学中的人工情感进行结合,从强化学习中的动作值选择、Q值矩阵更新和奖励值函数更新三个方面进行情感分析与改进。并设计了三种人工情感的量化函数,从而形成了九种策略的人工情感Q学习算法和九种策略的人工情感Q(λ)学习算法。2.为解决传统电力系统多时间尺度调度与控制难以协调的问题,提出了互联电网的统一时间尺度的实时经济发电调度与控制框架,并为该框架提出了松弛深度学习算法。首先,为提升算法对智能发电控制中的大扰动紧急情况发生的预防能力,采用深度森林算法对系统的历史状态和历史动作值进行学习,并融入强化学习框架中,提出了深度强化森林算法。然后,为进一步解决互联电网多区域之间的博弈问题,将机器学习中具有强大学习与认知能力的深度学习算法应用到强化学习算法的框架中,从而提出了深度强化学习算法,并在变参数的模型中进行仿真,设定的仿真时间长达1296天。最后,在同时考虑“机组组合+经济调度+自动发电控制+发电功率分配”的基础上,设计了统一时间尺度的实时经济发电调度与控制框架,并为该框架提出了松弛深度学习算法,且对比了1200种传统非统一时间尺度的组合式算法,设定的总仿真时间长达6.586年。3.为微电网提出了统一时间尺度的实时智能发电控制框架,并为该框架提出了深度自适应动态规划算法。首先,设计了“自动发电控制+发电功率分配”的一体化实时智能发电控制框架。然后,为该框架提出了深度自适应动态规划算法,在所提深度自适应动态规划算法中设计了深度模型预测网络、深度评价网络和深度执行网络三个多输出的深度神经网络。最后,设计了一个含有19个二次调频机组和一个含有28个二次调频机组的电力系统,并在基本仿真、“即插即用”启停机仿真、通讯故障仿真、全天扰动仿真、变拓扑结构仿真和变参数模型仿真六种工况下仿真,设定的总仿真时长达25.155年。4.为提升统一时间尺度算法的学习速度,研发了基于社会物理信息系统的智能发电控制平行系统仿真平台,并将所提松弛深度学习算法在所建平台上进行仿真,对比了146016种非统一时间尺度的组合式算法,设定的总仿真时间为400.0493年。最后,所建平行系统平台在小型示范工程中得到了初步应用。