回声状态网络的研究进展

回声状态网络是近年来新兴的一种递归神经网络,独特而简单的训练方式以及高精度的训练结果已使其成为当前研究的热点之一.在该网络中,引入了储备池计算模式这一新的神经网络的建设方案,克服了之前网络模型基于梯度下降的学习算法所难以避免的收敛慢和容易陷入局部极小等问题.围绕这种新型网络结构,国内外许多学者开展了多样的研究.本文全面深入介绍了回声状态网络这一新兴技术,讨论了回声状态网络的优缺点,并综合近年的研究现状,总结了回声状态网络的主要研究工作进展和未来的研究方向.     

回声状态网络的递推训练算法

针对回声状态网络(ESN)传统的训练方法无法解决高维矩阵不可逆时的训练,以及无法应用于需要在线训练的建模当中等问题,提出了两种新的递推训练算法。分别将含遗忘因子递推最小二乘算法（FFRLS）和无先导卡尔曼滤波算法（UKF）应用到回声状态网络输出神经元为线性函数和非线性函数的权值训练中,进而直接对网络的输出权值进行递推更新。与传统的训练方法相比,所提新方法不仅具有在线更新、精度高的优点,而且还可以解决传统训练方法中批量数据构成的向量矩阵不可逆及输出神经元为非线性函数且其反函数不可求的题。通过对连续搅拌釜式反应器（CSTR）浓度和温度的预测仿真,结果证明了所提新方法的有效性。     

Review on echo state networks

回声状态网络是近年来新兴的一种递归神经网络,独特而简单的训练方式以及高精度的训练结果已使其成为当前研究的热点之一.在该网络中,引入了储备池计算模式这一新的神经网络的建设方案,克服了之前网络模型基于梯度下降的学习算法所难以避免的收敛慢和容易陷入局部极小等问题.围绕这种新型网络结构,国内外许多学者开展了多样的研究.本文全面深入介绍了回声状态网络这一新兴技术,讨论了回声状态网络的优缺点,并综合近年的研究现状,总结了回声状态网络的主要研究工作进展和未来的研究方向.     

基于ESN网络的航天器姿态跟踪鲁棒控制

为了研究具有外部干扰力矩和模型不确定性的多体航天器姿态快速跟踪控制问题,基于逆系统方法和回声状态网络(echo state network, ESN), 设计了鲁棒控制器,并利用Lyapunov稳定性理论证明了控制系统的渐近稳定性.采用"meta-learning"策略离线训练ESN网络,并应用遗传算法优化其主要参数,解决了动态递归神经网络训练困难及网络参数不易确定的问题.控制器的设计过程相对简单,不需要精确的动力学模型.该文还针对航天器中心体与天线同时跟踪不同目标的任务进行了数值仿真,结果表明所设计的鲁棒控制器对外部干扰与模型不确定具有很好的鲁棒性.     

基于回声状态网络的船舶横摇运动预报

针对普通的递归神经网络训练过程较复杂,而且存在记忆渐消等问题,提出一种基于回声状态网络的船舶横摇运动预报方法.该网络将隐层设计成一个巨大的动态记忆库,具有记忆功能,隐层中的神经元在学习过程中不进行权值调整,而通过线性回归的方式训练网络,使网络记忆功能加强,学习速度加快.运用该网络对某型船舶在海浪遭遇角为90°海况下的横摇运动进行预报.结果表明:回声状态网络训练简单,加速了网络的训练速度,有更好的记忆性能,以预报60步为例,回声状态网络和对角递归神经网络预报的均方根误差分别为0.003 9和0.024 9,提高了近8倍,在相同的预报精度下,回声状态网络的预报时长明显增长,验证了该方法的可行性与有效性.     

基于 TOPSIS 的匹配博弈网络选择算法

针对无线通信中网络资源利用率的重要性,提出一种基于逼近理想解排序法（technique for order preference by similarity to ideal solution,TOPSIS）的匹配博弈论异构网络选择算法,联合考虑用户端的网络选择和网络端的用户选择,分析用户和网络的时延、传输速率、丢包率,运用匹配博弈的原理选择出双方满意度最高的网络选择方案。仿真结果表明,在多用户同时存在的情况下,给出 TOPSIS 的匹配博弈论异构网络选择算法具有较低的阻塞率和较高的满意度。     

矿井突水水源判别的改进ESN神经网络模型

针对水化学特征相似的水源类型,采用传统的预测模型难以准确判别。运用水化学成分分析法和FCM聚类分析法对26个典型的水源样本进行相似度分析,并提取了4个相似度较高的水源样本作为待测样本,将其载入一种基于阻尼最小二乘正则化方法的GA_ESN判别模型,并与改进的GA_BP和标准GA_ESN模型的判别结果进行对比。结果表明:改进的GA_BP判别模型效果最差,预测准确率只有50%;标准GA_ESN模型的回判准确率和预测准确率均达到100%,但其判别精度对模型的复杂程度要求较高,且易出现过拟合问题;而改进的GA_ESN判别模型能够弥补上述模型的不足,不仅简化模型训练过程,还能提高水源的判别精度。因此,该模型可作为一种快速有效判别矿井突水来源的新方法。     

基于主元分析的转炉终点ESN静态预测模型

以主元分析方法和新型ESN(回声状态网络)算法为核心,研究了转炉终点静态预测模型.通过对某钢厂转炉生产数据的主元分析,建立了ESN模型,同时将ESN模型与传统的BP 和RBF神经网络模型进行了对比研究.结果表明,使用ESN建立的模型比传统的BP网络模型和RBF网络模型,在钢水温度预测方面精度分别提高了0.85%和0.45%,在钢水碳质量分数预测方面精度分别提高了0.45%和0.19%,能够有效的对转炉终点碳含量和温度进行预测,从而为转炉炼钢过程提供更准确的操作指导.     

基于主元分析的转炉终点ESN静态预测模型

以主元分析方法和新型ESN(回声状态网络)算法为核心,研究了转炉终点静态预测模型。通过对某钢厂转炉生产数据的主元分析,建立了ESN模型,同时将ESN模型与传统的BP和RBF神经网络模型进行了对比研究。结果表明,使用ESN建立的模型比传统的BP网络模型和RBF网络模型,在钢水温度预测方面精度分别提高了0.85%和0.45%,在钢水碳质量分数预测方面精度分别提高了0.45%和0.19%,能够有效的对转炉终点碳含量和温度进行预测,从而为转炉炼钢过程提供更准确的操作指导。     

基于改进黑洞算法优化ESN的网络流量短期预测

网络流量数据序列具有混沌特性.相空间重构后,采用一种改进黑洞算法优化回声状态网络的非线性模型对网络流量进行预测.改进黑洞算法是在现有工作的基础上提出一种新的新解生成机制,可以提高算法的收敛速度和精度;相比于遗传算法、和声搜索算法等其他优化算法,所提出的改进黑洞算法不依赖自身相关参数的准确设定;将其应用于回声状态网络4个重要参数的优化选取,使得预测模型具有较好的预测稳定性.通过Mackey-Glass混沌时间序列和网络流量公共数据集的仿真实验,结果表明所提出的方法具有较好的预测性能.     

Echo-state-network classification based multi-services awareness in high-speed optical passive networks

With the challenge of great growing of services diversity,service-oriented supporting ability is required by current high-speed passive optical network (PON).Aimed at enhancing the quality of service (QoS) brought by diversified-services,this study proposes an echo state network (ESN) based multi-service awareness mechanism in 10-Gigabite ethernet passive optical network (10G-EPON).In the proposed approach,distributed architecture is adopted to realize this ESN based multi-service awareness.According to the network architecture of 10G-EPON,where a main ESN is running in OLT and a number of ESN agents works in ONUs.The main-ESN plays the main function of service-awareness from the total view of various kinds of services in 10G-EPON system,by full ESN training.Then,the reservoir information of well-trained ESN in OLT will be broadcasted to all ONUs and those ESN agents working in ONUs are allowed to conduct independent service-awareness function.Thus,resources allocation and transport policy are both determined only in ONUs.Simulation results show that the proposed mechanism is able to better support the ability of multiple services.     

一类时变时滞静态神经网络的指数稳定性

基于线性矩阵不等式方法建立了时变时滞静态神经网络的指数稳定判据.考虑到时滞变化率对稳定性能的影响,分别建立了仅依赖时滞上界的稳定判据和完全依赖时滞信息的稳定判据.所得到的稳定判据能够适应慢变时滞和快变时滞两种情况,具有适用范围宽、保守性小和易于验证等特点,并通过几个注释说明与现有的文献结果进行了比较.仿真示例验证了所得结果的有效性.     

隐性目标决策问题的IDSS结构模型研究

研究一类复杂的隐性目标决策问题,它具有“决策目标难以完全数量化、结构化表示”、“决策者的偏好随决策分析进行而改变”、“决策问题常常具有NP难性质”等特征,并对问题的求解方法进行了讨论。基于交互式进化计算,建立处理该类决策问题的IDSS结构模型,讨论了各个模块的处理功能;最后以产品创新设计系统验证所提出模型的合理性。     

跨越连接多层神经网络的稳定性

研究了跨越连接多层神经网络的结构和稳定性。提出了有跨越连接的误差反向传播算法,通过仿真实验说明了跨越连接多层神经网络收敛性和稳定性优于传统网络。     

基于生成对抗网络的海马子区图像分割

海马子区体积很小且结构复杂,传统分割方法无法达到理想分割效果,为此引入生成对抗网络模型用于海马子区图像分割.该方法构建一个生成对抗网络模型,通过构建生成网络和对抗网络并对其进行交替对抗训练实现对脑部海马子区图像的像素级精确分割.实验选取美国旧金山CIND中心的32位实验者的脑部MRI图像进行海马子区分割测试,在定性和定量方面分别对比了所提方法基于稀疏表示与字典学习方法和传统CNN的分割结果.实验结果表明,该方法优于基于稀疏表示与字典学习和CNN方法,海马子区分割准确率有较大提升.该方法提升了海马子区的分割准确率,可用于大脑核磁图像中海马子区的分割,为诸多神经退行性疾病的临床诊断与治疗提供依据.     

一种低耗的无线传感器网络状态监测方法

传感器网络包含大量的微型无线传感器节点,并以无人值守的方式工作。为了有效地管理传感器网络,提出了一种模型辅助的传感器网络状态监测方法来支持传感器网络的状态监测,该方法的思想是在基站与节点上建立描述传感器网络状态的变化模型来辅助传感器网络状态的监测。实验结果表明:这种方法能够降低传感器网络状态监测的能量消耗。     

电动汽车用动力电池组SOC的神经网络估计

针对电动汽车用动力电池组的SOC受充放电率、放电历程和温度等因素的影响,传统方法很难建立准确的数学模型,对电池组SOC进行研究,在对动力电池组进行不同工况充放电试验的基础上。建立了电池组的神经网络仿真模型。并分别采用电流输入,电压和电压梯度输入进行了仿真,实现了对电池组SOC的估计。与实验结果对比,仿真结果与实验基本吻合,验证了该方法的正确性。     

RBF网络在交通流模型辨识中的应用

利用径向基函数 (RBF)人工神经网络来逼近已知的交通流非线性解析模型 ,讨论了高速公路交通流模型的辨识问题。提出了一种带反馈的 RBF网络模型 ,讨论了其训练算法。算法分两步实现 ,第一步利用一种改进的聚类分析方法确定隐层节点核函数的中心点 ,第二步用最小二乘法确定从隐层到输出层的连接权。最后将训练好的网络模型和给定的解析模型同时进行仿真计算 ,得出了当某路段出现突发性交通事故时交通流密度和平均速度的变化曲线。仿真结果说明 RBF神经网络模型的训练速度快和辨识精度还是令人满意的     

一种估计混合动力用Ni-MH电池单体SOC的方法

搭建了混合动力汽车动力电池的性能实验平台,针对车辆实际行驶工况,在不同环境温度下对动力电池进行了相关充放电实验。利用实验系统采集到的动力电池电压与电流,采用自校正模糊神经网络控制算法对常温25℃下的动力电池荷电状态(State of Charge,SOC)进行计算,并与Arbin动力电池测试设备计算出的动力电池荷电状态进行了比较。理论分析和实验结果表明,采用自校正模糊神经网络控制算法计算出的电池SOC满足混合动力汽车电池SOC所需的精度要求。