深度学习自适应学习率算法研究

为了获得更好的收敛速度和训练效果,提出了根据模型测试准确率对学习率使用不同调整策略的自适应学习率调整算法.将训练过程分为前期、中期和后期三个阶段:在前期适当增大学习率,在中期和后期根据与测试准确率的增量相关的衰减因子函数使用不同大小的学习率衰减因子减小学习率,增量越小表示模型越接近收敛,因而使用更小的衰减因子.基于MXNet框架,在数据集CIFAR-10和CIFAR-100上进行测试实验,结果表明所提出的方法在收敛速度和准确率收敛值方面都有更好的效果.     

混合专家网络的锅炉故障诊断样本及误差分析

探讨了将混合专家网络应用于锅炉故障诊断时,影响样本训练精度的有关参数,得出了规则数、学习率、循环次数、加权指数等参数与样本训练学习误差平方和之间的关系     

一种BP神经网络声音特征信号的识别方法

建立了一个三层前向神经网络对四种声音信号进行识别分类,网络采用改进学习的BP算法训练,即在最速下降法训练的基础上,引入了MOBP动量因子和学习率调整。仿真验证结果表明,所设计的BP网络识别分类误差小,识别正确率高。     

鸽子强化学习过程中内部学习状态的动态建模研究

经典Q-learning强化学习模型中学习率为一固定参数,无法有效反映认知学习的动态过程。提出了一种将学习速率表征为时变参数的Q-Learning强化学习模型,给出了利用近期历史行为数据估计阶段性学习速率的方法。为了评估验证该模型的性能,设计了条件刺激与操作行为奖励无关→相关→无关三个阶段动态试验范式,用以观察和分析鸽子在随机强化、固定强化,以及固定强化关系消退等不同条件下的学习行为变化过程,采用动物触屏行为系统完成了3只鸽子颜色刺激-啄屏抉择认知训练,利用训练过程中不同session的行为数据对动态学习率进行了最小二乘估计。分析结果表明:可以获得更小的行为预测误差,误差下降收敛的速度更快,同时学习率的动态变化过程可以有效的反映动物认知行为训练过程中的内在学习状态。     

基于学习率与惯性因子动态联合优化的快速BP算法

基于目标函数对学习率与惯性因子的偏导信息,提出了分别采用线性展开、二项式展开和共轭梯度的３种学习率与惯性因子联合动态优化的快速ＢＰ算法．仿真结果显示,与原ＢＰ算法相比,３种算法均可使网络训练速度显著加快     

立体神经视觉系统中零件识别的学习方法

提出了一种立体神经视觉系统中零件识别的学习方法。与标准的ＢＰ算法对比有两点改进：①用变尺度方向代替负梯度方向作为搜索方向；②用可变的最优学习率来代替不变的学习率，采用上述２仆改进后，训练速度和收敛性都有较大的改善，实际应用表明，所提出了垢训练速度、收敛性和稳定性都比标准ＢＰ算法有较大的提高。     

动量-自适应BP算法在机器人碰撞检测仿真系统中的应用

根据机器人运动连续性原理,通过对误差脉冲数的统计分析,我们基于人工神经网络算法,实现了机器人碰撞检测仿真系统 根据从机器人运行时采集的数据对神经网络进行训练和仿真,在实际应用中取得了预期的效果 本文讨论了动量-自适应学习率BP算法,说明了通过误差脉冲数进行碰撞检测的原理,比较了它与传统方法的区别,并且根据神经网络训练和仿真结果对动量-自适应学习率BP算法和标准BP算法进行了比较.     

直接转矩控制系统定子电阻的神经网络辨识

在研究异步电机直接转矩控制的基础上 ,提出了基于神经网络方法的定子电阻辨识 为了缩短学习时间 ,保证系统收敛 ,采用了自适应调整学习率 选取实时递归网络 ,对不同隐含层单元数和训练次数进行比较 ,获得合适的单元数和训练次数 仿真结果证明 ,应用该辨识可以进一步改善直接转矩控制系统的动态性能     

基于强化学习的非玩家角色行为改进

当前游戏中非玩家角色(Non-player Character,NPC)的行为主要基于随机决策或者传统的预定义行为决策,该方法的NPC不具有对游戏环境的自主学习能力.本文研究的目的是探索将强化学习方法应用于提高游戏NPC智能,使NPC在游戏过程中能实时地学习和适应演进的游戏环境,产生最合适的行为策略来响应玩家.本文提出一种动态训练强化学习的探索率参数方法,并将该方法应用于经典的Bomber Man游戏中.实验结果表明,该方法训练的NPC比非强化学习和传统强化学习训练的NPC具有更高的智能.     

BP神经网络优化训练技术的研究

在分析ＢＰ神经网络理论的基础上，探讨了ＢＰ神经网络优化训练技术．文中比较了四种训练法，其中自适应调整学习率带冲量项训练法，可大大地提高训练效率，且无振荡现象．