强化学习性能最优控制框架及其在高压给水加热器运行优化中的应用

针对现阶段火电机组运行工况频繁波动的情况，为了解决复杂动态过程难以辨识、控制器设定点无法确定的问题，提出了一种基于历史运行数据与强化学习算法的性能最优控制框架。在现有控制器的输出上叠加少量随机噪声，采用均匀化网格算法构建并维护包含典型工况的数据缓冲区，采用基于粒子群优化的连续批量Q学习算法离线求解性能最优控制策略函数。以高压给水加热器控制任务为研究对象，得到了一种无需系统辨识也无需确定设定点即可保持变工况控制品质与换热性能的控制器求解方法。为了验证所提框架的通用性，利用某600 MW机组高压加热器的仿真模型对水位控制过程进行了分析。结果表明，基于强化学习的性能最优控制框架不需要建立系统模型，可以直接利用历史运行数据求解以累积性能最优为目标的控制策略函数，不仅在动态过程中可以达到较好的控制品质，稳态下也能使系统维持在性能较优的状态，相当于同时实现了设定值优化与设定点跟踪控制。