基于改进的迭代动态规划的化工过程动态优化

为了对化工动态系统进行快速的全局优化,结合并加强迭代动态规划算法和一阶梯度算法的优势,同时利用随机搜索和定向搜索,提出了基于一阶梯度算法的迭代动态规划算法,通过2个化工生产实际例子应用,证明了该算法具有高效、高精度、全局性好等特点。     

一种改进的近端策略优化算法

近端策略优化(proximal policy optimization, PPO)是从一个已知的分布附近来采样估计另一个分布,通过用新策略在老策略的附近学习来实现优化的,其中老策略作为新策略的近似分布。【目的】针对PPO算法在强化学习中学习效率及收敛性不够好的问题,提出一种改进的PPO算法。【方法】首先提出一种新损失函数来更新PPO算法中的网络参数,采用泛化优势估计(generalized dominance estimation, GAE)对优势函数进行描述;然后采用类似异步优势演员-评论家(asynchronous actor-critic, A3C)算法中的多线程策略来训练智能体;最后设计新的参数更新方式来实现对主副两种网络中的参数更新。【结果】本方法能够使智能体更快地完成学习训练,其训练过程中收敛性更好;由于多线程,其算法的训练速度会比常规的PPO算法至少快5倍。【结论】改进的PPO算法其性能更好,这为后续强化学习算法的研究提供了新思路。     

基于动态主元分析的控制系统性能评价方法

基于最小方差的性能评价通常存在需预知过程模型结构、计算繁杂、难于拓展至多变量系统及最小方差控制可达性弱等问题,提出了一种基于动态主元分析（DPCA ）的最小方差性能评价方法。该方法将动态主元分析方法应用到最小方差控制性能评价中,能够结合最小方差评价和动态主元分析的优势。改进后的指标可以用来评价系统控制性能,便于实现在线监控和故障诊断。通过仿真实例,验证了所提出的方法的有效性和优越性。