一种具有动态最优学习率的BP算法

提出具有动态最优学习率的BP算法，动态最优学习率是通过迭代的方式得到的，这种算法具有运算简单，收敛速度快，精度高特点。仿真结果说明此算法是有效的。     

BP算法固定学习率不收敛原因分析及对策

人工神经网络BP模型是一种常用的建模方法,但仍存在很多问题.通过对BP算法的应用发现,当固定学习率η大于0～1内某一值,将导致网络算法不收敛.本文从数学理论上分析了这一现象产生的内在原因.最后提出两种有效对策:方法是第一次η取小值,随后取较大值,最后取小值;方法二是调整传递函数f(x).通过这两种方法,解决了固定学习率不收敛的问题,并对改进方法进行了实证检验.     

煤气管道服役期预估神经网络模型的建立与应用

神经网络模型具备的针对大量无规则数据自学习的能力,适于解决城镇煤气管道布局复杂、影响因素众多、服役期限难以计算的问题。基于BP神经网络算法建立的煤气管道年限模型,经过训练对比,选择了最优的BP网络模型,结合共轭梯度法,改进了该算法收敛慢、易出现震荡的问题,实现了对城镇管道漏损的定量分析,结合某市煤气管道漏损的实际案例验证其可行性,满足预估管道服役期限的工程要求。     

基于粒子群算法的抽油机故障诊断研究

提出了一种动态改变学习因子的粒子群算法,用以保证在粒子群优化算法的初始阶段,使粒子在进化初期仔细地在自身的邻域内搜索,防止粒子快速向局部最优解汇聚而错过自身邻域内可能存在的全局最优解,而在进化后期,使粒子快速、准确地收敛于全局最优解,提高算法收敛速度和精度。利用改进后的粒子群算法优化神经网络的权值和阈值,并把优化后的神经网络应用到抽油机故障检测中,结果表明用改进后粒子群算法优化的神经网络对抽油机进行故障诊断较传统BP算法更具准确性与快速性。     

带一类自适应非线性特性的变步长BP学习算法

针对前馈神经网络的反向传播(BP)学习算法收敛速度慢、易陷入局部最小等缺点,本文提出了在BP搜索进入误差代价函数曲率较小、收敛速度较慢处时,在变步长BP学习算法的基础上,引入一个非线性特性项,并将该特性项的强度系数构造为具有升温、降温策略控制的自适应非线性函数.仿真结果表明,该算法的收敛稳定、快速,具有较好的效果.     

加速收敛的人工蜂群算法

针对人工蜂群算法(artificial bee colony algorithm, ABC)存在的收敛速度慢、易陷入局部最优的缺点,提出了一种改进算法。首先,设计新的选择策略和交叉策略,使群体快速向最优解靠近;然后,鉴于控制侦查蜂行为的参数难于确定,且对算法性能影响较大,提出了基于反向学习的变异策略代替侦查蜂行为,同样达到避免陷入局部最优的效果。通过对10个标准测试函数的仿真表明,改进算法几乎都可以得到各测试函数的全局最优解,而且收敛速度快、鲁棒性好。改进性能明显优于现有人工蜂群算法。     

提高BP网络学习速度的自适应算法

针对BP网络存在收敛速度慢及目标函数容易陷入局部极小值的缺点,本文首先对前人所做的改善BP网络学习速度的方法进行了探讨,其次分析了学习率对BP网络学习速度的影响,最后提出了一种提高BP网络学习速度的新方法,即自适应调整学习率和动量因子.计算结果表明,该方法大大地提高了收敛速度,而且算法简单、易行.     

基于神经网络的铅锌烧结过程产量质量预测模型

针对铅锌烧结过程中具有强非线性、时滞的特点,提出一种基于变学习率的烧结块产量质量神经网络预测模型.通过分析过程特性和工况参数的相关性,确定影响产量和质量的操作参数;采用普通的BP(Back Propagation,简称BP)神经网络结构,建立铅锌烧结块产量质量预测模型;在网络训练的过程中,采用变学习率的方法对BP算法进行改进,获得了满意的预测效果,该算法具有较快的收敛速度.将改进的神经网络模型进行仿真实验,结果表明,该模型具有较高的预测精度和较强的自学习功能,从而验证了方法的有效性.     

基于动态分级策略的改进正余弦算法

针对正余弦算法存在易陷入局部最优、求解精度不高、收敛速度较慢等问题, 提出一种基于动态分级策略的改进正余弦算法。首先, 引入拉丁超立方抽样法, 将搜索空间均匀划分, 使初始种群覆盖整个搜索空间, 以保持初始种群的多样性。其次, 采用动态分级策略, 根据适应度值的排序情况, 将种群动态划分为好中差3个等级, 并应用破坏策略与精英引导方法对其进行扰动, 以提高算法的收敛精度, 增强跳出局部最优的能力。最后, 引入反向学习方法, 设计了动态反向学习全局搜索策略, 以提高算法的收敛速度,同时对改进算法在复杂度、收敛性和稳定性方面进行性能测试, 选取15个标准测试函数在低维和高维状态下进行仿真实验分析, 并与粒子群算法、回溯搜索算法和其他改进正余弦算法进行比较。仿真分析结果表明, 所提算法有效地提高了算法的收敛性和稳定性。     

考虑投资者情绪的GARCH-改进神经网络期权定价模型北大核心CSCDCSSCI

提出了一种考虑投资者情绪的基于改进粒子群算法优化的BP神经网络,并结合GARCH模型用于预测欧式期权价格。引入单点变异算子来提升传统粒子群算法的寻优能力,并通过改进后的算法来优化BP神经网络的结构与相应参数。利用GARCH模型估计权证股票价格的历史波动率,并将其作为改进神经网络模型的输入变量之一。最后,进一步考虑投资者情绪对期权价格的影响,通过构造剔除了基本因素的投资者情绪复合指标,并融入改进后的神经网络中。选取包括鞍钢JTC1在内的10支国内认购权证的收盘价格进行实证研究。结果表明,该模型的收敛速度与预测精度优于传统的BP神经网络以及B-S模型,考虑投资者情绪的影响后,预测结果更贴近实际情况。     

基于佳点萤火虫算法与BP神经网络并行集成学习的旱情预测模型

针对传统BP神经网络在旱情预测的实际应用中随机初始权值和阈值导致网络学习速度慢、易陷入局部解以及计算精度低等缺陷,提出一种基于数论佳点集萤火虫(good point set glowworm swarm optimization,GPSGSO)算法与BP神经网络(back propagation neural network,BPNN)并行集成学习算法(GPSGSO-BPNN)的旱情预测模型.首先,借鉴数论中佳点集理论构造初始均匀分布的萤火虫种群,并引入惯性权重函数动态修正移动步长,生成基于数论佳点集理论萤火虫算法,并从理论上分析算法的有效性;其次,将GPSGSO算法与BPNN相结合构建并行集成学习算法,实现两种算法的并行交互集成.最后,将并行集成学习算法应用于农业干旱灾害预测中,构建基于GPSGSO-BPNN并行集成学习算法的旱情预测模型.通过8个Benchmark函数验证了GPSGSO算法在收敛速度、计算精度及稳定性等方面的有效性.同时,以皖北农业干旱气象数据作为仿真数据,实验结果表明GPSGSO-BPNN算法在计算速度、精度及稳定性方面较传统BPNN、GSO-BPNN及GA-BPNN等算法有较明显的优势,提高了旱情等级预测的准确性.     

Super-resolution image reconstruction based on three-step-training neural networks

A new method of super-resolution image reconstruction is proposed, which uses a three-step-training error backpropagation neural network (BPNN) to realize the super-resolution reconstruction (SRR) of satellite image. The method is based on BPNN. First, three groups learning samples with different resolutions are obtained according to image observation model, and then vector mappings are respectively used to those three group learning samples to speed up the convergence of BPNN, at last, three times consecutive training are carried on the BPNN. Training samples used in each step are of higher resolution than those used in the previous steps, so the increasing weights store a great amount of information for SRR, and network performance and generalization ability are improved greatly. Simulation and generalization tests are carried on the well-trained three-step-training NN respectively, and the reconstruction results with higher resolution images verify the effectiveness and validity of this method.     

一种能令网络跳离假饱和区的改进BP算法

分析了ＢＰ算法中假饱和存在的条件，给出了网络边界点的概念，提出了一种能令网络跳出假饱和提高训练速度的简单而实用改进算法。计算机模拟结果表明，该算法不仅明显加快了网络的收敛速度，而且还能避免节点传输函数中的指数运算的溢出。     

图像超分辨BP神经网络的改进

为了进一步提高超分辨图像重建效果,针对前期研究的超分辨误差反向传播神经网络（back propagation neural network, BPNN）重建结果中存在的块痕迹问题加以改进和优化。对影响BPNN超分辨效果的两个关键问题进行改进：(1) 网络训练样本问题,将8×8→16×16的映射方式改进为2×2→4×4的映射方式,同时,采用相邻仅间隔一个像素的方式优化构造训练样本;(2) 加速网络训练收敛问题,将网络训练规则由BP算法改进为改进的比例〖JP2〗共轭梯度算法。网络训练实验和泛化实验表明,改进方法增加了网络训练样本数量,改善了超分辨BPNN的输出图像质量,有效解决了超分辨结果中的块痕迹问题,使超分辨结果图像的峰值信噪比提高约8 dB。     

Adaptive adjustment of iterative learning control gain matrix in harsh noise environment

For the robustness problem of open-loop P-type iterative learning control under the influence of measurement noise which is inevitable in actual systems, an adaptive adjustment algorithm of iterative learning nonlinear gain matrix based on error amplitude is proposed and two nonlinear gain functions are given. Then with the help of Bellman-Gronwall lemma, the robustness proof is derived. At last, an example is simulated and analyzed. The results show that when there exists measurement noise, the proposed learning law adjusts the learning gain matrix on line based on error amplitude, thus can make a compromise between learning convergence rate and convergence accuracy to some extent: the fast convergence rate is achieved with high gain in initial learning stage, the strong robustness and high convergence accuracy are achieved at the same time with small gain in the end learning stage, thus better learning results are obtained.     

大数据中面向乱序数据的改进型BP算法

针对大数据中的乱序数据缺少关联规则的问题，提出了一种动态调整的改进型BP 算法，运用了动态自适应结构调整机制，根据环境要求自适应调整网络训练结构，自动删除无效训练神经元，优化迭代训练过程；并在网络学习过程中动态调整网络参数中的三因子，即动量因子、权学习指数、阈学习指数，来达到加快学习响应速度、增强网络稳定性的目的. 仿真结果表明，通过动态自适应调整结构、动态调整三因子的改进型算法，能够获得更多的收敛次数，并能有效地提高收敛率，进而提高整体网络性能.     

基于遗传算法的进化神经网络

提出一种基于遗传算法的多层前向神经网络的自动化设计方法(genetic multiplayer feedforward neural network，GMFNN)，用以同时完成对网络结构空间和权值空间的搜索。该算法利用双种群权值优化、结构进化自适应变异率等方法来加快算法的收敛速度，改善解的性能。仿真结果显示本文提出的算法能够有效抑制遗传算法初期收敛的发生，有效地提高多层前向神经网络的收敛精度，并可获得更为简洁的网络结构。     

Comparison on neural networks and support vector machines in suppliers' selection

Suppliers＇ selection in supply chain management （SCM） has attracted considerable research interests in recent years. Recent literatures show that neural networks achieve better performance than traditional statistical methods. However, neural networks have inherent drawbacks, such as local optimization solution, lack generalization, and uncontrolled convergence. A relatively new machine learning technique, support vector machine （SVM）, which overcomes the drawbacks of neural networks, is introduced to provide a model with better explanatory power to select ideal supplier partners. Meanwhile, in practice, the suppliers＇ samples are very insufficient. SVMs are adaptive to deal with small samples＇ training and testing. The prediction accuracies for BPNN and SVM methods are compared to choose the appreciating suppliers. The actual examples illustrate that SVM methods are superior to BPNN.     

外积取等联想记忆神经网络部分同步收敛性

在生物视觉系统中发现的部分同步振荡现象被认为是视觉信息处理的重要机制 ,并对认识脑信息处理机制有重要意义。以联想记忆神经网络为例 ,针对外积取等学习准则定义了两种部分同步运行规则 ,通过引入样本向量割、割等价及割互补的概念 ,对外积取等联想记忆神经网络部分同步运行的收敛性作了直接的数学分析 ,证明了实现收敛所需的迭代数是有限的。