带饱和执行器的非线性离散时滞系统的最优控制

主要针对带有饱和执行器的时滞非线性离散时间系统更加一般的形式,通过启发式动态规划(HDP)算法求解无限时间最优控制策略问题,并在值函数中引入折扣因子.首先通过迭代HDP算法给出值函数序列和相应的控制序列,并给出了收敛性证明,即值函数序列收敛到值函数的最优值,以及控制序列收敛到最优控制;其次为了实现HDP算法,引入3个神经网络:模型网络、评判网络、控制作用网络.模型网络用来近似系统模型,评判网络用来近似值函数,控制作用网络用来近似控制;最后通过一个仿真例子说明上述方法的可行性.     

一种高精度数值积分方法

提出了一种高精度求解数值积分的新方法,其主要思想是通过训练神经网络权值并用傅立叶级数来近似未知函数,然后用傅立叶级数的积分来近似未知函数的积分.提出并证明了该算法的收敛性定理和数值积分的求解定理.仿真结果表明,与其它方法相比,本文提出的数值积分方法有计算精度高的特点,因而在工程实际中有较大的应用价值.     

修正的迭代近似梯度投影算法在压缩感知中的应用

通过设计一种新的Hessian矩阵的近似,得到函数在当前迭代点的二次近似模型,并利用该模型与延迟策略得出一种新步长.结合新步长,提出一种求解压缩感知中稀疏信号重构问题的修正迭代近似梯度投影算法,并给出收敛性证明.实验结果表明,该算法不仅能较好地恢复原始信号中的非零元素,有效地重构信号,而且与经典算法相比,重构效率较高.     

分布式HDP领导-跟随者系统最优一致控制研究

为研究行为未知的非线性多智能体系统领导-跟随者最优一致控制问题,针对智能体动态方程未知的情况,设计神经网络辨识器学习智能体动力学行为;构造以多智能体系统局部误差为输入的性能指标函数,将多智能体系统领导-跟随者一致性问题转换为求解智能体局部性能指标函数最优值的优化控制问题;结合自适应动态规划思想设计分布式迭代算法求解该优化问题,并讨论了算法的收敛性;设计基于神经网络的评价-执行结构分布式控制器来近似局部性能指标函数,通过神经网络学习迭代寻找局部性能指标函数的最优解,实现多智能体系统的最优一致控制策略。设计的分布式控制器能够根据智能体状态数据自适应产生控制策略,使多智能体系统趋于一致。     

基于期望值函数的离策略深度Q神经网络算法

深度Q神经网络算法的值函数迭代算法大多为Q学习算法,这种算法使用贪婪值函数作逼近目标,不利于深度Q神经网络算法获得长期来看更好的策略。通过以期望思想求解的期望值函数取代贪婪值函数作为更新目标,提出了基于期望值函数的离策略深度Q神经网络算法,并结合DQN算法神经网络更新方法,给出期望值函数能够作用于DQN算法的解释。通过使用该算法能够快速获得长期回报较高的动作和稳定的策略。最后分别在CarPole-v1和Acrobot仿真环境中对期望值函数的离策略深度Q神经网络算法和深度Q神经网络算法进行获取策略的稳定性对比实验,结果表明,基于期望值函数的离策略深度Q神经网络算法能够快速获得长期回报较高的动作,并且该算法表现更为稳定。     

能量收集通信系统中基于深度Q网络的最大化保密速率功率控制策略

研究由能量收集发射节点、目的节点和窃听节点组成的能量收集通信系统中,以最大化平均保密传输速率为目标的发送功率控制问题.在环境状态信息事先未知,且系统模型中信道系数、电池电量、收集的能量连续取值的场景下,提出一种基于深度Q网络(deep Q network,DQN)的、仅依赖于当前系统状态的在线功率分配算法.将该功率分配问题建模为马尔科夫决策过程;采用神经网络近似Q值函数来解决系统状态有无限多种组合的问题,通过深度Q网络求解该决策问题,获得仅依赖于当前信道状态和电池状态的功率控制策略.仿真结果表明,相比较随机功率选择算法、贪婪算法和Q学习算法,提出的算法能获得更高的长期平均保密速率.     

不确定性优化方法在船型优化设计中的应用

为了使非高精度的近似模型在船型优化中发挥最大效用,引入不确定性优化方法,采用区间数描述反向传播(BP)神经网络构建的兴波阻力系数近似模型的不确定性,基于主尺度与船型系数联合组成的设计空间构建了最小总阻力的优化模型.采用双层嵌套优化体系,外层采用加入学习因子改进策略的粒子群算法对引入罚函数的总阻力目标函数进行优化,内层采用改进的快速模拟退火算法针对近似模型的不确定域求解目标函数区间.算例表明了不确定性优化体系的优越性与两种优化算法的适用性.     

热传导界面问题的一种神经网络算法

本文讨论了一种单隐层神经网络算法在数值求解热传导界面问题中的应用。该算法设定含有神经网络函数的近似解满足初边值条件和Dirichlet 界面条件,通过求解由原方程导出的关于神经网络权重的离散优化问题来训练近似解中的神经网络,以使近似解逼近真解。文中也给出了一种基于随机梯度法思想的类随机梯度法来求解相应的离散优化问题。数值算例验证了算法的有效性。     

基于楔形基函数的微分博弈两点边值问题的逼近

微分博弈研究中如何构造更有效的数值算法求解鞍点策略的近似解,仍是一个开放问题。基于楔形基函数,构造了一种新的求解微分博弈两点边值问题的数值方法,给出了解的存在惟一性,并通过算例验证了算法的可行性,为鞍点策略的近似解的求解提供了一种有效的方法。     

基于随机梯度上升和球面投影的通用对抗攻击方法

在面向样本集的通用对抗攻击中，导致多数样本输出错误的通用扰动设计是研究关键.本文以典型卷积神经网络为研究对象，对现有通用扰动生成算法进行总结，提出采用批量随机梯度上升训练策略和球面投影搜索策略相结合的通用扰动生成算法.算法的每次迭代计算，首先从样本集中抽取小批量样本，采用随机梯度上升策略计算出使损失函数值下降的通用对抗扰动，然后将通用扰动投影到半径为ε的高维球面上，从而缩小通用扰动的搜索空间.算法还引入了正则化技术以改善通用扰动的生成质量.实验结果证明该算法与基线算法对比，攻击成功率显著提升，通用扰动的求解效率提高约30倍.     

Approximate optimal control for a class of nonlinear discrete-time systems with saturating actuators

In this paper, we solve the approximate optimal control problem for a class of nonlinear discrete-time systems with saturating actuators via greedy iterative Heuristic Dynamic Programming （GI-HDP） algorithm. In order to deal with the saturating problem of actuators, a novel nonquadratic functional is developed. Based on the nonquadratic functional, the GI-HDP algorithm is introduced to obtain the optimal saturated controller with a rigorous convergence analysis. For facilitating the implementation of the iterative algorithm, three neural networks are used to approximate the value function, compute the optimal control policy and model the unknown plant, respectively. An example is given to demonstrate the validity of the proposed optimal control scheme.     

仿射非线性系统的在线自适应模糊神经网络辨识与控制

针对单输入单输出非线性系统的自适应控制问题,提出了一种在线自适应模糊神经网络辨识与鲁棒控制的方法.该方法首先利用广义模糊神经网络学习算法,实时建立对象模型未知系统的逆动态模型,实现网络结构和参数的同时在线自适应.考虑到网络建模误差和外部干扰的存在,还设计了基于控制理论的鲁棒补偿器.仿真结果表明,该方法能对模型未知仿射非线性系统实现鲁棒输出跟踪.     

一种在线自适应控制马氏链的强化学习算法

讨论平均准则控制马氏链的强化学习算法。目的是寻找使得长期每阶段期望平均报酬最大的最优控制策略,由于事先未知状态转移矩阵及报酬向量,故必需使用自适应控制方法,通过引入称之为行动器和评判器的神经网络构造,使得学习单元在不断学习中,最终能发现最优策略。行动器的参数在学习中不断被修正,每一时刻的参数的值均对应着一个随机控制策略。评判器用来估计这些参数以找出最优控制策略。     

Markov控制过程基于神经元动态规划的优化算法

论文在Markov性能势理论基础上,研究了Markov控制过程在神经元网络等逼近结构表示的随机平稳策略作用下的仿真优化算法,分析了它们在一个无限长的样本轨道上概率1的收敛性,并给出了一个三－状态受控Markov过程的数值实例。     

输入受限下机器人关节神经网络自适应控制

针对机器人关节控制输入受限以及动力学模型中存在非线性摩擦、柔性变形和未知外部干扰力矩等问题,提出了一种基于径向基函数（radial basis function, RBF）神经网络的输入饱和指令滤波自适应控制方法。基于指令滤波反步法,采用饱和函数约束控制输入的幅值,使用RBF神经网络在线逼近未知干扰,并利用Lyapunov稳定性理论证明了闭环系统的所有误差最终一致有界。仿真结果表明,控制算法不仅使系统的控制输入幅值被严格约束在规定的范围之内,完成了对目标轨迹的高精度跟踪（跟踪误差约为±0.003 rad）,而且还可抵抗外部阶跃干扰力矩和建模误差对控制系统的不良影响,保证系统的高精度与强鲁棒性,性能优于PID (propotional integral derivative)控制和普通指令滤波反步控制（command filter backstepping control, CFBC）,对机器人关节在高精度领域应用与智能控制具有重要价值。     

基于Volterra基函数网络的自适应逆控制方法

提出了一种基于Ｖｏｌｔｅｒｒａ基函数（ＶＰＢＦ）网络的非线性系统自适应逆控制方法。对象和逆控制器各用一个ＶＰＢＦ网络表示,应用正交最小二乘算法进行离线网络结构确定和权值初始化,构造了一种动态归一化非线性最小均方（ＤＮＮＬＭＳ）权值更新算法,以进行网络权值的在线学习。仿真结果表明,该方法具有算法简单、学习速度快、鲁棒性能好等优点。     

小型吊舱式无人艇航向控制

针对小型吊舱式无人艇航向控制系统精度问题,考虑模型中的不确定性和风、浪干扰等未知项,设计一种基于RBF神经网络和迭代滑模算法的自适应控制器.在建立吊舱式无人艇运动数学模型基础上,采用迭代滑模算法提高收敛时间,并通过RBF神经网络权值逼近模型参数不确定项和未知扰动,最终将该算法与迭代滑模算法进行仿真比较.结果表明,所提出...     

基于遗传算法优化的自适应FNN-PID控制器研究

针对传统PID控制器参数整定后因无法在线自动调整而导致控制效果不理想的问题,提出了一种基于遗传算法优化模糊神经网络（FNN, Fuzzy Neural Network）的自适应FNN-PID控制器模型。该模型结合了模糊神经网络良好的自适应自学习能力和遗传算法强大的全局搜索能力,利用遗传算法对模糊神经网络的参数进行优化与训练,使PID控制器能够根据被控对象的变化而适时在线调整自身参数KP, KI和KD,从而达到理想的控制性能。将该控制器应用于异步电动机控制系统进行仿真实验,结果表明：基于遗传算法优化的自适应FNN-PID控制器具有较好的自适应能力和鲁棒性,控制效果明显优于传统PID控制器。     

神经网络动态规划在溶解氧控制中的应用

针对污水处理过程溶解氧质量浓度控制问题,提出一种基于神经网络动态规划的控制器设计方法.该方法不需要建立污水处理过程的非线性动力学模型,控制器的设计只需要系统的输入、输出观测信息.控制器设计采用评价—行动的思想,策略的评价值及最优行动分别采用两个回声状态网络逼近,给出评价网络的收敛条件.对污水处理过程溶解氧的控制试验结果表明,与常规PID控制相比,神经网络动态规划控制器能够有效提高控制精度,抑制干扰能力也明显增强.