基于联想记忆的Hopfield神经网络的设计与实现

介绍了反馈型神经网络Hopfield网络的定义、原理、模型和基本学习规则,并构造了一个用于联想记忆的Hopfield神经网络模型.对实验结果进行分析、比较,实验结果表明:Hopfield神经网络用于数字识别是可行、有效的;该方法较传统神经网络能提高网络的记忆能力和数字识别的正确率;该方法有别于以往的BP神经网络的模式识别,结合一些优化算法,如遗传算法,能对Hopfield神经网络的联想记忆稳态进行优化,增强神经网络的联想记忆能力.     

基于Takagi-Sugeno模型的模糊神经网络的学习算法

选用正态函数作为模糊变量的隶属函数 ,给出了基于Takagi_Sugeno模型的模糊神经网络的用于学习的性能指标 ,并对其性质进行了分析 .在此基础上将二阶段变半径随机搜索法用作模糊神经网络的学习算法 .这种方法简便易行 ,可使模糊神经网络达到较高的精度 .该文给出了神经网络记忆容量的定义并求出了基于TS模型的模糊神经网络的记忆容量 .     

一种改进的RBF神经网络混合学习算法

提出一种基于粒子群优化算法、K-means算法及减聚类算法的径向基函数(RBF)神经网络混合学习算法.该算法使用减聚类方法确定隐层节点数,具有自适应确定隐层节点的能力,避免了调整隐层节点的人为干预.通过K-means算法形成粒子群优化(PSO)算法初始粒子群,避免了初始粒子群的随机性,提高了粒子群优化算法的优选能力;采用PSO算法训练RBF神经网络中的所有参数.数值结果表明,改进的混合算法具有更高的分类准确率。     

基于组合神经网络的软件可靠性预测研究

为了进一步提高神经网络的预测能力,提出了一种前馈神经网络混合学习算法,并将其应用于组合神经网络.该算法由一种模式提取算法(Alopex)和伪逆算法组成.在该混合学习算法中,网络的学习任务被分解为2个部分:隐藏层的权值先随机给定,然后使用Alopex算法不断地对其进行扰动;输出层的权值使用伪逆算法确定.所使用的组合神经网络由多个结构相同的前馈神经网络组成,每个前馈神经网络都使用混合学习算法(采用不同的初值)进行训练.实验结果表明,这种组合神经网络能够显著提高软件可靠性的预测精度.     

基于改进的递归神经网络的化工动态系统建模

在局部递归网络Elman,Jordan,SIRNN的基础上,构建一种改进的递归神经网络模型DHORNN,该模型在结构上将隐层的状态反馈、输出反馈以及时间序列延迟等有机地结合起来,并选用基于Levenberg-Marquardt优化理论的快速的L-M算法,大大提高了网络的训练速度.用该网络对一个多输入单输出的连续搅拌釜式化学反应器模型进行建模,并与其他递归网络模型建模方法进行比较,证明该网络结构对化工动态系统具有良好的动态建模能力.     

一种基于小波神经网络混合模型的说话人识别方法

提出一种混合模型,即将隐马尔可夫模型(HMM)和小波神经网络(WNN)相结合应用于说话人识别的模型.该方法利用HMM的时序建模能力以及小波神经网络较强的模式分类能力,进行与文本无关的说话人的识别.实验表明,采用这种混合模型可以提高系统的识别率,特别在噪声环境中具有一定的噪声鲁棒性,提高了识别性能.     

模糊神经网络控制及其学习方法的研究

对模糊神经网络的学习方法进行了研究.该方法中,在分层训练的基础上通过改变隐层节点数目、训练样本数目和BP算法参数来对网络进行训练.仿真结果表明该方法精简了网络的结构,减少了训练的时间,为模糊神经网络用于实时控制系统提供了可能的条件.     

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.     

基于模拟退火PSO-BP算法的钢铁生产能耗预测研究

针对BP对能源系统进行建模和预测的方法存在的问题,提出一种优化BP神经网络的模拟退火粒子群混合算法(SAPSO)。利用该混合算法优化BP神经网络的权值和阈值,然后训练BP神经网络预测模型以得到最优解,并将所建立的预测模型对钢企能耗进行预测。最后与BP神经网络以及最小二乘法进行比较。仿真结果表明该混合算法增强神经网络的泛化能力,具有相对误差小,预测精度较高,能更好地跟踪未来数据的优点。     

隐马尔可夫模型的拓朴应用

以非齐次隐马尔可夫模型(Inhomogeneous Hidden Markov Mode1)出发,用自适应函数链神经网络与非齐次隐马尔可夫模型相结合,训练出适用环境变化的HMM模型,并应用该混合模型进行语音识别.实验结果表明,该模型适合于对噪声背景下的语音进行识别,该模型具有更好的鲁棒性,在信噪比较低的情况下,可以提高识别率.     

基于HMM／MLFNN混合结构的说话人辨认研究

将隐马尔可夫模型与人工神经网络相结合既利用ＨＭＭ能够较好地描述动态时间序列又ＡＮＮ静态分类能力强的特点，应用于说话人辨认。本文将一个多层前馈神经网络与ＨＭＭ相结合构成混合模模型，与以往的方法不同。具有所需训练数据量小，推广性能良好的特点。     

基于改进MMI的HMM训练算法及其在面部表情识别中的应用

提出一种改进的最大互信息(MMI)准则函数并把它应用于隐马尔可夫模型(HMM)的参数估计,重新推导了HMM的迭代公式. 该准则函数相对于原来准则函数定义更为合理,能有效利用训练样本集中的鉴别信息,使得训练数据得到充分利用,提高了HMM的性能. 把这种改进的HMM算法应用于面部表情识别,利用改进的光流算法提取面部表情特征向量序列,并利用改进HMM算法和BP神经网络构建了面部表情混合分类器. 实验结果表明了该方法能有效提高面部表情识别率,有效解决HMM参数估计问题.     

Boosting the Expense and Performance of Ann／Hmm Approch for on-line Handwriting Recognition

This paper focuses on a state sharing method for an artificial neural network (ANN) and hidden Markov model (HMM) hybrid on-line handwriting recognition system. A modeling precisionbased distance measure is proposed to describe similarity between two ANNs, which are used as HMM state-models. Limiting maximum system performance loss, a minimum quantification error aimed hierarchical clustering algorithm is designed to choose the most representative models. The system performance is improved by about 1.5% while saving 40% of the system expense. About 92% of the performance may also be maintained while reducing 70% of system pararfieters. The suggested method is quite useful for designing pen-based interface for various handheld devices.     

采用BP&SA混合学习策略的短期电力负荷预测方法

提出了一种BP混合模拟退火(SA)的ANN短期负荷预测方法,该方法针对传统BP学习算法的缺点,将BP算法和模拟退火算法的优点相结合以提高网络的学习性能.ANN模型中考虑了温度和预测日类型,可进行工作日和节假日的预测,实例表明ANN模型实用有效、精度高.     

基于多相关系数分组HMM2的学习算法

目的为了得到一种基于多相关系数分组二阶隐马尔可夫模型(second-or-der HMM:HMM2)的学习算法。方法最大似然准则,Lagrange乘子法。结果给出了在观测噪声和马尔可夫链不相互独立条件下二阶隐马尔可夫模型(second-or-der HMM:HMM2)的结构,获得了在多观测序列不相互独立的情况下HMM2的Baum-Welech学习算法。结论为得到充足数据,以对所有参数可靠估计,必须使用多观测序列。所获算法避免了直接计算条件概率的困难,考虑了训练序列间的相关性,故使计算过程更为便捷,在观测序列分组均匀相关情况下非常有用。     

基于进化神经网络的灰色预测模型

为了弥补神经网络用于灰色理论中学习效率低、收敛速度慢、易陷入局部最优等缺点,采用了改进遗传算法IGA(im proved genetic algon ithm)来辅助优化神经网络,实现了对网络连接权的自适应进化,并应用于灰色预测中。提出了进化神经网络灰色预测模型,通过M atlab程序对某地区农村人均收入的数据进行了预测、比较,预测结果误差均在0.3%以下,明显优于传统的GM(1,1)(grey m odel)的预测结果,其误差在10%左右。实例验证,将进化神经网络应用于灰色预测模型中是可行和有效的。     

A REAL_TIME SHORT_TERM LOAD FORECASTING SYSTEM BY ARTIFICIAL NEURAL NETWORK *

应用人工神经网络（ＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋ—ＡＮＮ）设计短期电力负荷预测（Ｓｈｏｒｔ＿ｔｅｒｍＬｏａｄＦｏｒｅｃａｓｔｉｎｇ—ＳＴＬＦ）系统,利用广州电网的负荷数据进行仿真,分别作出提前１小时和未来２４小时的整点负荷预测,获得比较满意的预测精度,显示出人工神经网络应用于短期电力负荷预测的良好前景．由于建立小时模型、改进了训练样本集的选取办法及采用高效率的ＬＭ（Ｌｅｖｅｎｂｅｒ＿Ｍａｒｑｕａｒｄｔ）训练算法,使ＡＮＮ的训练速度大大加快,形成可以实时训练和预测的ＡＮＮ＿ＳＴＬＦ系统．     

人工神经网络混合剪枝算法

目前人工神经网络(ANN)应用中所遇到的挑战之一就是如何针对特定问题确定相应网络。基于进化算法和局部搜索算法两类策略的特点和不足,文中提出了混合剪枝算法HAP(HybridAlgorithmofPruning)。算法首先联合进化算法代表之一遗传算法(GA)和反向传播算法BP的不同优势完成ANN网络结构和权重进化的初步阶段;然后应用多权重剪枝策略(MW-OBS)进一步简化、确定网络结构。结合案例与以往的混合策略算法进行对比研究,结果表明HAP在寻优能力、简化网络结构、保证稳定性等方面均有明显优势,更加适合大规模ANN的优化问题。     

遗传算法改进神经网络的电力系统谐波检测法

提出了将遗传算法与神经网络结合起来用于电力系统谐波幅值与相位测量的方法。根据电力系统谐波的特点,构造了用于谐波检测的神经网络模型,阐述了网络训练样本的形成方法。借助Matlab提供的遗传算法与神经网络算法工具箱,先用遗传算法对前馈神经网络进行全局训练,再用BP(back-propagation)算法进行精确训练。仿真结果验证了该方法的有效性和可靠性。通过与传统BP算法测量谐波的方法相比较,该方法具有训练速度快,不易陷入局部极值,测量精度高的优点。最后用未训练的样本检测训练好的神经网络,验证了该网络同时也具有较好的泛化能力。     

Hybrid Genetic Algorithm Based Optimization of Coupled HMM for Complex Interacting Processes Recognition

Coupled Hidden Markov Model (CHMM) is the extension of traditional HMM, which is mainly used for complex interactive process modeling such as two-hand gestures. However, the problems of finding optimal model parameter arc still of great interest to the researches in this area. This paper proposes a hybrid genetic algorithm (HGA) for the CHMM training. Chaos is used to initialize GA and used as mutation operator. Experiments on Chinese Tai‘Chi gestures show that standard GA (SC, A) based CHMM training is superior to Maximum Likelihood (ML) HMM training. HGA approach has the highest recognition rate of 98.0769%, then 96. 1538% for SGA. The last one is ML method, only with a recognition rate of 69.2308 %.