TD再励学习在卫星姿态控制中的应用

随着卫星姿态控制系统对控制精度、鲁棒性和抗干扰要求的不断提高,将模糊神经网络控制引入到三轴稳定卫星的姿态控制中,并采用基于时差(TD)法的再励学习来解决模糊神经网络参数在线调整的问题,可以在无需训练样本的前提下实现控制器的在线学习. 仿真结果表明,这种结合再励学习的控制算法不仅可以满足对姿态控制精度的要求,有效地抵制了外界干扰,并对卫星的不确定性有较强的鲁棒性.     

再励学习在交通信号控制中的应用

再励学习是一种利用评价信息(而不是网络实际输出与期望输出之差)采改善行为的神经模糊算法，采用“奖”“罚”信号训练控制器．用再励学习的目的建立一个可调的模糊交通信号控制器，它能在不同交通情况下修改隶属函数参数，以达到较好的控制效果．其评价指标是车辆延误．仿真结果表明，再励学习在交通量稳定的交叉口信号控制中表现良好．     

再励学习在交通信号控制中的应用

再励学习是一种利用评价信息(而不是网络实际输出与期望输出之差)来改善行为的神经模糊算法,采用"奖""罚"信号训练控制器.用再励学习的目的建立一个可调的模糊交通信号控制器,它能在不同交通情况下修改隶属函数参数,以达到较好的控制效果.其评价指标是车辆延误.仿真结果表明,再励学习在交通量稳定的交叉口信号控制中表现良好.     

采用遗传算法自组织神经网络模糊控制器

提出一种自组织神经网络模糊控制器的新方案。该方案的一个主要特征是,可获得实现模糊控制器的最小且最优的神经网络结构,而且所获得的模糊控制器同时具有神经网络的广泛映射能力、联想概括能力和遗传算法的快速全局收敛、再励式学习等优良特性。     

基于Q-学习的卫星姿态在线模糊神经网络控制

将模糊神经网络控制引入到三轴稳定卫星的姿态控制中,结合Q-学习和BP神经网络来解决模糊神经网络参数在线调整问题,在无需训练样本的前提下实现控制器的在线学习. 仿真结果表明,这种基于Q-学习的模糊神经网络控制不仅可以满足对姿态控制精度的要求,还有效地抵制了外界干扰,提高了姿态稳定度,对卫星的不确定性有较强的鲁棒性.     

面向语言评价的Takagi-Sugeno模糊再励学习

综合考虑再励学习的两个重要子问题 :连续空间及语言评价问题 ,提出了一种新的学习方法 ,即面向语言评价的 Takagi-Sugeno(T-S)模糊再励学习。该学习智能体构建在 Q-学习方法和 Takagi-Sugeno模糊推理系统的基础上 ,适于处理连续域的复杂学习任务 ,亦可用于设计 Takagi-Sugeno模糊逻辑控制器。以二级倒立摆控制系统为例 ,仿真研究验证了学习算法的有效性     

基于干扰观测器的卫星姿态误差四元数模糊滑模控制

针对刚体卫星的姿态控制问题,提出了一种基于干扰观测器的误差四元数模糊滑模控制方法.首先研究了由误差四元数和误差角速度描述的卫星动力学方程和运动学方程,避免了卫星姿态控制中最终姿态表示的非单值性问题.然后,根据卫星姿态控制系统的数学模型,利用Lyapunov方法设计了滑模控制律,并采用干扰观测器对外界干扰进行估计补偿.为克服滑模控制中存在的抖振,设计了基于干扰观测器的模糊滑模控制器.对卫星姿态控制的仿真结果表明,在外界干扰存在的条件下,设计的控制律能有效地实现卫星姿态控制,避免了传统滑模控制的抖振问题,具有良好的鲁棒性.     

混合动力汽车能量管理控制器参数优化

设计了一种新的基于人工免疫网络优化的模糊神经混合动力汽车能量管理控制器．该控制器结合模糊控制和神经网络的优点，利用神经网络的自学习能力，自动生成模糊规则和隶属函数，并不断优化隶属函数的参数，直到达到设计要求．为了避免神经网络的学习过程陷入局部极值点，采用人工免疫网络优化神经网络的参数．仿真结果显示，经过参数优化的模糊神经能量管理控制器的性能比普通能量管理控制器好，能进一步降低HEV的油耗．     

新型卫星姿态运动的鲁棒控制器设计

研究Ｈ∞／μ综合方法在新型卫星姿态运动的鲁棒控制器设计中的应用．讨论新型卫星姿态运动中卫星姿态控制以及挠性体振动抑制和液体晃动抑制等问题，同时阐述一个确定低阶控制器阶数的判据．     

电液位置伺服系统的再励学习控制研究

针对非线性电液位置伺服系统的不确定性控制问题,提出了一种带有小脑模型（ＣＭＡＣ）神经网络的再励学习控制方法。将ＣＭＡＣ神经网络融入再励学习控制结构中,并进行了撞化与改进杯仅使再励学习控制器具备了泛化能力,而且提高了其学习速度,因此竽电液位置伺 服系统的快速跟踪控制。仿真结果表明,控制器不仅具有良好的处理非线性能力而且对时变外扰支具有明显的抑制作用。     

仿生水下机器人的增强学习姿态镇定

针对一类双波动鳍仿生水下机器人的姿态镇定问题,提出一种基于增强学习的自适应PID控制方法.对增强学习自适应PID控制器进行了具体设计,包括PD控制律和基于增强学习的参数自适应方法.基于实际模型参数对偏航角镇定问题进行了仿真试验.结果表明,经过较小次数的学习控制后,仿生水下机器人的偏航角镇定性能得到明显改善,而且能够在短时间内对一般性扰动进行抑制,表现出了较好的适应性.     

具有输入饱和及多不确定性的挠性卫星姿态控制

研究了存在控制输入饱和约束、内外部干扰及质量特性参数不确定性的挠性卫星姿态鲁棒控制器设计问题.通过近似线性化结合等价坐标变换的方法得到了挠性卫星系统相应的状态空间描述,并以此为基础,采用理论分析结合数值仿真的手段设计出满足控制输入饱和约束并适应两类不确定性的姿态鲁棒控制方法.仿真结果表明,该方法得到的控制器具有较强鲁棒性,能很好地抑制内外部干扰并适应较大范围的质量特性参数不确定性.     

基于深度强化学习的无人机姿态控制器设计

为了能让四旋翼无人机的姿态控制器具有强大的目标值追踪与抗外部干扰的能力，本文提出了一种基于参考模型的深度确定性策略梯度的四旋翼无人机姿态控制器设计，该方法通过神经网络，将四旋翼无人机的状态直接映射到输出，文中用到的强化学习算法是结合深度确定性策略（DDPG）和深度神经网络所设计的。在DDPG算法结构中，进一步加入参考模型，规避控制量太大造成的系统超调，增强了系统的稳定性以及鲁棒性。同时，修改了强化学习中奖励的构成，成功消除了系统的稳态误差。经过研究实验表明，该控制方法对目标值的追踪以及抗外部干扰都有着很强的鲁棒性，可见该控制器相比于传统的控制器，提高了其目标值追踪能力以及抗干扰能力。     

基于多层前馈网络的卫星姿态控制器

卫星姿态动力学系统与其线性化模型之间的误差会影响姿态控制的精度。应用多层前馈网络对该误差进行建模,并基于此模型和线性系统理论设计了一种新型的卫星姿态控制器,该控制器实现了卫星三轴解耦控制,并使卫星姿态动力系统与其线性化模型的响应误差在最小二乘准则意义下最小。仿真结果表明在俯仰角、滚动角和偏航角机动量均为0.01rad情况下,控制器能够提供较高的控制精度。     

挠性卫星姿态快速稳定智能控制

针对挠性卫星本身存在的参数不确定性和外部扰动的控制问题,设计了以径向基函数神经网络和小脑神经网络为基础的复合变结构智能控制器.该控制器利用变结构控制系统对被控对象的模型误差、参数变化及外扰等的不敏感性的优点,再结合神经网络能够迅速逼近未知函数、泛化能力强的特点,可以适应挠性卫星参数不确定性和抑制外加干扰,实现对挠性卫星的有效控制.仿真结果表明复合控制能够提高卫星姿态的稳态精度和快速性.     

基于滑模控制的挠性卫星的自学习模糊控制

将基于滑模控制的自学习模糊控制应用于挠性卫星的姿态稳定控制中.给出了姿态控制系统的设计方法.自学习控制算法利用滑模控制原理和模糊性能判决表在线修改模糊控制器的规则参数.为了解决传统自组织模糊控制对外界信号敏感的问题,基于滑模控制的自学习算法同时考虑了误差状态矢量及其变化趋势,增强了系统的鲁棒性.与传统自组织模糊控制相比,仿真实验结果表明,该控制方法对卫星参数变化不敏感,能有效地抑制卫星的外界干扰及挠性附件的振动,使卫星的姿态角得到准确的控制.     

基于滑模观测器的卫星姿态控制系统滑模容错控制

针对卫星姿态控制系统执行机构故障,设计了基于滑模观测器的滑模容错控制律.采用迭代学习算法在线调节观测器滑模项切换增益,设计滑模观测器估计卫星姿态和角速度.在此基础上,将执行机构故障作为系统的未知动态,提出一种对卫星姿态控制系统执行机构故障不敏感的滑模容错控制方法.该方法利用系统输入和状态信息,结合动力学特性实现未知动态估计,以此设计滑模控制律.通过数字仿真验证了该容错控制方法的有效性.     

基于线性矩阵不等式的卫星姿态鲁棒控制

针对执行机构性能下降或出现故障,提出了对执行机构故障具有完整性且满足H∞扰动衰减指标的状态反馈鲁棒控制设计方法.该方法采用线性矩阵不等式（LMI）方法,分析了圆盘极点指标与H∞指标的相容性,并在相容指标约束下给出了鲁棒H∞控制器存在的充分条件和设计步骤.将鲁棒控制方法应用于卫星姿态控制系统,并进行了数值仿真.结果表明,该方法对卫星姿态控制系统执行机构性能下降或故障状态下具有较好的鲁棒性,能够满足姿态控制要求.