基于广义模糊CMAC的强化学习算法

针对传统的小脑模型,提出了一种广义模糊小脑模型神经网络(GFCMAC)。它采用模糊隶属度函数作为接收域函数,可以获得较常规CMAC连续性强且有解析微分的复杂函数近似,具有计算量少,学习效率高等优点。研究了GFCMAC接收域函数的映射方法、隶属度函数及其参数的选取规律和学习算法。结合强化学习,提出了一种基于GFCAMC的强化学习算法,讨论了其实现过程。应用于船舶航向控制的仿真结果表明,在有各种风浪干扰下,船舶航向跟踪快且操舵动作合理,适合船舶转向控制要求。     

一种基于自适应遗传算法的CMAC的学习率优化方法

CMAC（cerebellar model articulation controller）是一种局部逼近神经网络，它发展了近30年，但是关于其学习率的确定仍缺乏好的方法。基于CMAC的控制系统如果没有好的学习率，那么系统就会不稳定或者收敛速度很慢。在传统方法的基础上提出利用遗传算法（GA）来确定其学习率，通过自适应遗传算法（GA）其他传统方法相比较，表明利用自适应遗传算法（GA）不仅使系统稳定，而且收敛速度更快，并进行了仿真验证。     

基于强化学习的倒立摆起摆与平衡全过程控制

倒立摆的控制是一种典型的非线性控制问题。本文的目标是在假设不知道任何倒立摆模型的前提下,采用强化学习控制器实现倒立摆的起摆和平衡的全过程控制。为提高学习效率,采用了任务分解的方法,将整个控制任务分解为起摆和平衡两个子任务,对于不同的子任务根据其特点采用不同的强化学习算法。在Matlab/Simulink上进行仿真实验,结果证明,该方法在合理的时间内可以学习到成功的控制方法。     

一种基于神经网络和遗传算法的拟人智能控制方法

提出一种基于Hopfield神经网络(HNN)和遗传算法(GA)混合策略的拟人智能控制方法。首先利用拟人智能控制得到定性控制律(线性或非线性)，然后利用GA和HNN的混合优化策略实现定性控制律的定量化——首先，基于网格法产生GA的初始种群；然后，基于实数编码并采用最优个体保留策略、2／4择优选择以及引入控制经验的改进GA进行全局优化；最后，为了克服GA的后期收敛速度慢和局部优化能力缺乏，利用HNN的快速优化能力进行末段搜索，最终产生全局最优解。将该方法用于二级倒立摆系统的控制，仿真和试验结果均表明该方法有效。     

CMAC神经网络用于分析和设计非线性过程控制系统(Ⅱ)——控制策略

本文是基于 CMAC神经网络分析和设计复杂控制系统的第二部分 ,提出了基于评价函数和CMAC预测器的控制器的设计方法 ,通过分析控制算法的收敛性和控制系统的稳定性 ,得出了控制器参数的选取方法 .该方案适用于过程的输入输出数据是可测的 ,并且可用第一部分提出的方法得到对象的 CMA C预测器 .仿真实例证明该方案是正确和实用的.     

基于改进PSO算法的多变量PID型神经网络控制

充分利用PID结构简单、稳定性强的良好性能以及神经网络的自学习和自适应的特长,引入粒子群优化(PSO)学习算法,设计一种多变量自适应PID型神经网络控制器。神经网络的隐含层由带有输出反馈和激活反馈的混合局部连接递归网络组成,采用PSO学习算法优化神经网络参数。在深入研究分析PSO算法的基础上,引入变异因子和惯性权重自适应策略对该算法进行改进,既发挥了PSO算法随机优化收敛速度快的优点,又克服了该算法易陷入局部最优点的缺点,显著提高了控制系统的性能指标。最后,通过对二级倒立摆控制的仿真分析,证明该算法具有较强的鲁棒性。     

基于模糊神经网络局部强化学习在Robocup中的应用

针对Robocup仿真组比赛中智能体的配合与动作选取,将模糊神经网络（FNN）和局部协调图动态角色分配与传统Q-学习相结合,提出了基于模糊神经网络的局部Q-学习。采用该方法,有效抑制了仿真平台中的噪声干扰,提高了动作选取的精度,解决了传统Q-学习中Q表占用内存空间过大的问题,增强了系统的泛化能力,并进一步缩短了学习时间,更好的满足比赛实时性的要求。将其运用于仿真组比赛的传球和射门模型中,验证了该方法的有效性。     

基于多智能体强化学习的多机器人协作策略研究

研究了一种基于智能体动作预测的多智能体强化学习算法. 在多智能体系统中,学习智能体选择动作不可避免地要受到其他智能体执行动作的影响,因此强化学习系统需要考虑多智能体的联合状态和联合动作.基于此,提出使用概率神经网络来预测其他智能体动作的方法,从而构成多智能体联合动作,实现了多智能体强化学习算法. 此外,研究了该方法在足球机器人协作策略学习中的应用,使多机器人系统能够通过与环境的交互学习来掌握行为策略,从而实现多机器人的分工和协作.     

基于模糊CMAC网络的非线性自适应逆控制

针对非线性自适应逆控制中非线性对象的建模和逆建模的精确性这一问题,提出一种基于模糊小脑模型关节控制器(Fuzzy Cerebellar Model Articulation Controller, FCMAC)网络的非线性自适应逆控制方案.将模糊逻辑思想嵌入到CMAC中构成FCMAC来对非线性对象进行较精确的逆建模,从而构建逆控制系统.在对象特性未知的情况下,选用BP网络来对象进行正建模,并由BP网络的辩识结果来对FCMAC的参数进行调整.仿真实验表明了该方案的有效性,且验证了其控制效果较单纯的CMAC网络逆控制更理想.     

基于多智能体强化学习的协同目标分配

针对传统方法难以适用于动态不确定环境下的大规模协同目标分配问题,提出一种基于多智能体强化学习的协同目标分配模型及训练方法。通过对相关概念和数学模型的描述,将协同目标分配转化为多智能体协作问题。聚焦于顶层分配策略的学习,构建了策略评分模型和策略推理模型,采用Advantage Actor-Critic算法进行策略优化。仿真实验结果表明,所提方法能够准确刻画作战单元之间的协同演化内因,有效地实现了大规模协同目标分配方案的动态生成。     

一种自适应强化学习算法在状态空间构建中的应用

针对模型未知以及具有连续状态的系统控制问题,提出一种基于强化学习的自适应控制策略。在Actor-Critic框架下,建立归一化径向基网络的自适应调节机制,实现未知系统状态空间的动态创建。有效克服了状态空间分割所带来的维度灾难,而且能够使得系统的结构总保持在最佳状态。通过对倒立摆控制的仿真研究验证了方法的有效性。     

基于信号流图的动态神经网络在线学习算法

复杂的链式规则求导计算是动态神经网络在线学习算法中梯度向量计算的主要瓶颈,针时这一问题,根据P.Campolucci等人提出的动态系统梯度信息信号流图分析方法,设计了动态神经网络的在线学习算法,该算法可以直接从网络的信号流图及其伴随流图中获取目标函数关于网络参数的梯度信息,从而简化了算法梯度向量的计算.为了确保算法的稳定,根据Lyapunov稳定性定理,提出并证明了可以保证算法收敛的自适应学习速率,并且学习速率容易获得.利用NARX神经网络对非线性动态系统在线辨识的仿真实例也表明了本算法的有效性.     

一种快速收敛的核CMAC神经网络模型

为了提高CMAC(cerebellarmodelarticulationcontrollers)神经网络实时在线学习的快速性和准确性,在核CMAC的基础上引入了信度分配的概念。在核空间内,利用激活单元先前学习次数作为可信度,其误差校正值与激活单元先前学习次数的倒数成比例,设计了一种基于信度分配的核CMAC的训练规则,使网络的学习速度和网络逼近精度及建模能力得到提高。仿真结果表明基于信度分配的核CMAC结合了核CMAC与信度分配CMAC的优点,隐去了映射所带来的复杂运算,有较快的学习速度和训练精度及建模能力。     

基于径向基函数网络的强化学习在机器人足球中的研究

与监督学习从范例中学习的方式不同，强化学习不需要先验知识，而是具有从经验中学习的能力，将强化学习应用在大状态空间中，必须应用函数逼近的方法，如使用径向基函数网络建立输入和输出的映射关系。本文对基于径向基函数网络的强化学习在机器人足球这样的动态的多智能体环境中的应用进行了研究。实验结果证明了研究方法的可行性。     

离散神经网络的全局收敛性

应用能量函数,建立了离散的细胞神经网络与离散的Ｈｏｐｆｉｅｌｄ 神经网络全局收敛的充分条件,其结果推广了最近文献中某些已知的结果。     

一种广义模糊小脑模型神经网络及其仿真研究

针对传统的小脑模型，在保留CMAC原有增强和局部特性的基础上，结合模糊逻辑的思想，采用模糊隶属度函数作为接收域函数，提出了一种广义模糊小脑模型神经网络（GFAC）。研究了GFAC接受域函数的映射规律、隶属度函数及其参数的选取规律和学习算法。仿真结果表明GFAC具有良好的泛化能力和逼近精度，利用GFAC可以获得较常规CMAC连续性强且有解析微分的复杂函数近似。     

Fuzzy Entropy Based Combined Learning Algorithm for Neural Networks

ＦｕｚｚｙＥｎｔｒｏｐｙＢａｓｅｄＣｏｍｂｉｎｅｄＬｅａｒｎｉｎｇＡｌｇｏｒｉｔｈｍｆｏｒＮｅｕｒａｌＮｅｔｗｏｒｋｓ￥ＭｉｎＹａｏ（Ｄｅｐｔ．ｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＨａｎｇｚｈｏｕＵｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ３１００２８，Ｐ...     

基于统计学习理论的小波神经网络优化

传统的离散仿射小波神经网络训练都是建立在大样本基础上的,当样本数量较少时,不能保证网络的泛化能力。在研究统计学理论的基础上,提出了以结构风险最小化为目标的训练方法。首先根据样本数据和小波基函数的时频局部化特性构造隐含层函数集,并按照小波基函数的能量大小来建立函数嵌套结构,然后采用自适应正交最小二乘法来训练网络权值,保证训练的小波神经网络结构风险最小化。仿真表明该方法不仅具有较高的收敛速度,而且最大限度地保证了网络的泛化能力。