基于禁忌搜索的神经网络集成

给出了一种利用禁忌搜索来实现神经网络集成AdaBoosting算法的方法。以Ada- Boosting算法中的权值向量为优化对象,对其若干个元素进行扰动,并通过设定其为禁忌对象,以禁忌搜索控制寻优方向,以逼近误差为适值函数,在满足逼近误差或达到进化代数时结束进化。由于禁忌搜索可以避免迂回搜索,从而提高进化效率,使得算法易收敛。通过实例验证了该方法的可行性。     

前馈型神经网络新学习算法的研究

前馈神经网络在非线性系统的建模及控制中有着广阔的应用前景,但是该网络的学习算法-向后传播算法(Backpropagation (BP) Algorithm)算法存在一些不足.为了提高多层前馈神经网络的学习效率及稳定性,引入了非线性最小二乘法.通过与其他学习算法的比较,得出结论:其中用差商近似代替导数的Powell法是一种高效、快速的学习方法,其学习速率比带动量项的学习率自适应的BP算法高一个量级,而比Daviden Fletcher Powell (DFP)、Broyden Fletcher Goldfarl Shanno (BFGS)等变尺度方法以及其他非线性最小二乘法的稳定性要好得多.     

前馈型神经网络新学习算法的研究

前馈神经网络在非线性系统的建模及控制中有着广阔的应用前景,但是该网络的学习算法—向后传播算法(Backpropagation(BP)Algorithm)算法存在一些不足。为了提高多层前馈神经网络的学习效率及稳定性,引入了非线性最小二乘法。通过与其他学习算法的比较,得出结论:其中用差商近似代替导数的Powell法是一种高效、快速的学习方法,其学习速率比带动量项的学习率自适应的BP算法高一个量级,而比Daviden Fletcher Powell(DFP)、BroydenFletcher Goldfarl Shanno(BFGS)等变尺度方法以及其他非线性最小二乘法的稳定性要好得多。     

遗传算法优化工业对象的RBF神经网络模型

针对石油化学工业中的某一典型对象的建模过程,介绍一种以可变长度的自然数编码、以AIC(Akaike’sinformationcriterion)为优化目标的遗传算法(GA)设计径向基函数(RBF)神经网络隐含层结构。文中阐述了该方法的原理,实现步骤及网络泛化性能检验,并与正交最小二乘 (OLS)算法相比较,发现前者设计的网络结构相对简单且网络泛化能力有所改善。     

基于改进RBF神经网络的美元指数预测

首先介绍了RBF神经网络的原理.然后叙述了RBF神经网络的正交最小二乘算法,针对此算法在选择网络宽度上的不足,在原算法的基础上提出一种改进算法,该算法通过优化网络的宽度,提高了网络对时间序列逼近的准确度.对美元指数进行预测,预测结果表明改进的算法有良好的性能.     

径向基概率神经网络的结构优化算法研究

径向基概率神经网络（RBPNN）是在径向基函数神经网络（RBFNN）和概率神经网络（PNN）的基础上发展起来的一种新型的前馈神经网络（FNN）模型。该网络模型充分吸收了径向基函数神经网络和概率神经网络的优点,这种新的模型具有计算复杂度低、收敛速度快等优点。本文深入研究了径向基概率神经网络的结构优化算法,在遗传结构优化方法的基础上,提出一种新的两步学习算法,基于遗传算法的梯度学习算法。该算法一方面优化了网络结构,使网络结构尽可能的精简,另一方面有效地提高了网络的推广能力。     

径向基函数神经网络正交最小二乘改进算法的实现

综合现有文献提出的径向基函数(RBF)神经网络关于正交最小二乘学习算法,对它作了改进,增加对于回归矩阵线性无关的判断及β值调整的方法,提出具体编程实现.通过仿真实例证明了该算法的价值.     

电流控制神经网络逆变控制器的设计与实现

介绍了一种基于多层前向神经网络的电流控制逆变器，给出了神经网络及逆变器的具体实现方法与设计．为了提高神经网络的学习训练速度，笔者采用具有较快收敛速度的递推最小二乘算法（ＲＬＳ）用于网络权值的训练．应用研究表明该逆变器较传统逆变器具有动态响应速度快，静态精度较高等优点．     

一类约束最小二乘估计的神经网络算法

提出一种求解最小二乘问题的新算法,该算法通过特定函数的饱和工作方式,保证最小二乘问题对约束条件的满足,同时实现方差最小化,克服罚函数法难以得到精确解的缺陷。给出了双边约束最小二乘问题存在最优解的充分必要条件,同时证明最优解的唯一性。该算法容易用连续型神经网络实现,网络中神经元状态轨迹收敛到最小二乘问题最优解相对应的平衡点。该算法具有指数收敛速率。     

神经网络二次集成预测算法研究

针对常用预测算法不同程度地存在泛化能力不足的缺陷,提出了基于神经网络二次集成的优化算法(NNE2-QQ).该算法在第一次集成时采用量子粒子群算法进行个体网络的选择优化,在第二次集成时采用量子免疫算法进行集成结论生成优化,并通过多次迭代自适应寻求个体和权值的最佳组合,实现神经网络二次集成模型的性能最优,最后实验验证了NNE2-QQ算法的有效性和实用性. NNE2-QQ可从海量数据中发现各种因素之间的联系及其规律,为预测判断提供支持.     

基于神经网络集成的经济预测模型

针对单个BP神经网络用于经济预测存在的不足,提出了一种新的更有效的经济预测模型--神经网络集成.神经网络集成通过训练多个神经网络并将各网络输出进行合成,能够显著提高网络的泛化能力.以广东省江门市的经济数据为例,采用Bagging算法训练了五个BP神经网络,构建了一个神经网络集成的GDP预测模型,并运用MATLAB 7.0语言程序实现.预测结果令人满意,优于单个神经网络预测方法.实证表明,神经网络集成用于经济预测是有效可行的,同时在一定程度上克服了单个神经网络的缺陷.     

基于集成卷积神经网络的交通标志识别

以交通标志识别为研究目的,提出一种基于集成卷积神经网络的交通标志识别算法,通过对多个不同结构的卷积神经网络进行集成以提高算法识别率。为了缩短网络训练和测试时间以及提高网络识别率,对单个卷积神经网络的结构进行了优化。使用ReLU(rectified linear unit)激活函数来代替传统的激活函数,使用批量归一化(batch normalization,BN) 方法对卷积层输出数据进行归一化处理,将卷积神经网络的分类器用支持向量机(support vector machine,SVM)代替。使用德国交通标志识别数据库(german traffic sign recognition benchmark,GTSRB)进行训练和测试,实验结果表明,提出的算法识别率为98.29%,单幅交通标志图像测试时间为1.32 ms,对交通标志具有良好的识别性能。     

并行神经元集成在风险评估中的应用

研究了信息安全风险评估的并行求解方法,以神经元集成为出发点,借助于多个神经元网络并行逼近风险评估值,以降低评估时间和提高评估精度.提出了并行神经元集成风险评估算法,并应用到实例中,实验表明,并行算法能够有效地减少评估花费的时间和增加风险评估准确性.     

IP报文分类识别中的神经网络集成技术研究

Intemet网络应用的发展要求路由器支持服务质量（QoS）控制,一个公共的要求是路由器能够基于报文头的某些字段对报文进行分类。本文针对IP报文分类提出了一种结合IP报文头特征和多级神经网络集成技术的IP报文分类识别方法。并在此基础上给出了相应的算法。     

结合优化算法的神经网络图像复原算法

提出了用遗传算法优化的神经网络和PSO算法优化的神经网络图像复原算法,并对它们的复原效果进行了比较.先用优化算法对神经网络的结构进行优化,然后利用优化后的神经网络的学习和泛化能力,用一组样本图像对网络进行训练,建立退化图像与原图像之间的非线性映射关系,最后用训练好的进化神经网络对待复原的退化图像进行图像复原.实验结果表明复原的图像无论在主观视觉还是定量分析上都取得了很好的效果.     

协同神经网络聚类型学习算法

协同神经网络是一类全新的神经网络 ,它可以根据竞争神经网络的一般原则划分为匹配子网和竞争子网。其中 ,匹配子网的学习是协同神经网络的一个中心问题。改善匹配子网的学习效率有 2种途径 :对伴随向量求解算法的改进和原型向量选取方法的改进。文章浅析了这 2种类型的学习算法 ,着重研究了聚类算法在原型向量选取中的应用 ,并以一组交通标志图像作为识别样本 ,验证了选取原型向量 2种思路的有效性。     

基于偏最小二乘与神经网络耦合的储层参数预测

将偏最小二乘回归(PLS)与神经网络(NN)耦合,建立了储层参数预报模型.利用偏最小二乘对影响储层参数的诸多因素进行分析,提取对因变量影响强的成分,从而克服了变量间的多重相关性问题,降低了神经网络的输入维数;同时,利用神经网络建模可以较好地解决非线性的储层参数预测问题.计算实例表明,本耦合模型的拟合和预报精度优于独立使用神经网络模型的精度.     

一种新的基于目标反传的前馈式神经网络训练算法

提出了一种基于目标反传的前馈式神经网络训练算法,该算法将网络的目标输出信息反传到网络的每一个隐层上,于是将神经网络的训练问题转化为求解一系列线性方程组和线性不等式组的问题,数值实验结果表明本文提出的方法与传统的BP算法相比提高了网络的训练速度.