基于梯度监督学习的理论与应用(Ⅰ)——基本算法

讨论了一类基于梯度的监督训练算法及其用于神经网络的参数优化。文中详细讨论了ＬＭ算法，它是梯度下降法与高斯牛顿法的结合，既有高斯牛顿法的局部收敛性，又有梯度下降法的全局特性。μ很大时，ＬＭ算法近似于梯度下降法；μ为零时，则是高斯牛顿法。由于利用了近似的二阶导数信息，ＬＭ算法比梯度法快得多。就训练次数及准确度而言，ＬＭ算法明显优于共轭梯度法和变学习率的ＢＰ算法。由于主矩阵的正定性，解总是存在的，从这种意义上说，ＬＭ算法优于高斯牛顿法     

改进的神经网络快速学习算法

提出了一种新颖的神经元模型和用于神经网络训练的推广准则，给出了多层神经网络的快速学习算法，研究了一种用于语音识别的时变多层神经网络及其相应的快速学习算法．语音识别实验表明：所给出的快速学习算法能有效地加速网络训练进程．     

热释放率计算和预测的神经网络方法

基于多层前馈神经网络提出了火灾实验中不同材料热释放率的学习算法和预测技术．同时,将具有全局收敛特性的混合共轭梯度（ＭＣＧ）算法应用于该问题中多层前馈神经网络的训练,克服了传统ＢＰ算法收敛速度慢,推广性能差的缺陷．文中对ＭＣＧ方法进行了大量模拟,并将模拟结果与ＢＰ算法及带有动量项的ＢＰ算法作了全面比较,结果表明：ＭＣＧ方法不仅在学习速度和收敛性方面均优于传统的ＢＰ算法而且显示了良好的性能和行为     

一种用于RBF神经网络的支持向量机与BP的混合学习算法

基于支持向量机与径向基(RBF)神经网络在结构上的相似性,提出了一种用于RBF网络的支持向量机与BP的混合学习算法．算法分为2步：首先采用序贯最小优化算法学习训练支持向量机,得到RBF网络较优的初始结构和参数;随后由BP算法调整优化RBF网络参数．混合学习算法结合了支持向量机小样本学习、学习训练快捷以及BP算法在线修改网络参数的特点．仿真研究表明,混合学习算法学习效率高,网络性能优良,应用于函数逼近时效果优良．     

一种PNN网络的EM训练算法

提出一种概率神经网络（ＰＮＮ）的ＥＭ（ＥｘｐｅｃｔａｔｉｏｎＭａｘｉｍｉｚａｔｉｏｎ）训练算法．ＰＮＮ网为一四层前馈网,它构成一个贝叶斯分类器,实现多类分类的贝叶斯判别,它把输入的样本模式,经网络变换为输出的分类判决．其网络节点对应于贝叶斯后验概率公式的各个变量．此ＰＮＮ网络用高斯核的Ｐａｒｚｅｎ窗函数作为核密度函数,网络参数训练由ＥＭ算法实现,其学习方式为类间的监督学习和类内的非监督学习．实验表明了此网络及其学习算法在分类应用中的有效性．     

基于组合神经网络的软件可靠性预测研究

为了进一步提高神经网络的预测能力,提出了一种前馈神经网络混合学习算法,并将其应用于组合神经网络.该算法由一种模式提取算法(Alopex)和伪逆算法组成.在该混合学习算法中,网络的学习任务被分解为2个部分:隐藏层的权值先随机给定,然后使用Alopex算法不断地对其进行扰动;输出层的权值使用伪逆算法确定.所使用的组合神经网络由多个结构相同的前馈神经网络组成,每个前馈神经网络都使用混合学习算法(采用不同的初值)进行训练.实验结果表明,这种组合神经网络能够显著提高软件可靠性的预测精度.     

优化的竞争算法在语音识别中的应用

在传统的ＨＭＭ语音识别方法的基础上,提出了两种改进的竞争神经网络算法,分别用于语音识别的两个不同方面．首先提出了一种基于选择机制的新的竞争算法,这种算法可以有目的性地避免局部最优,而且可以克服模拟退火算法（ＳＡ）的随机性．然后,针对分类器的特性,对竞争算法进行改进,把安全拒识措施结合到竞争算法中,提出了一种新颖的神经网络——并行、自组织、层次神经网（ＰＳＨＮＮ）．实验结果表明,基于竞争神经网络算法的语音识别系统比传统的语音识别系统在识别能力和识别速度上都有明显提高,从而证明了与竞争神经网络算法结合的语音识别方法是可行的,而且具有良好的发展和应用前景．     

自组织增强学习模糊神经网控制器的设计

给出了一种利用增强信号进行模糊神经网络控制器设计方法,提出了一个神经网络控制顺在线增强学习的算法,并把所设计的增强学习神经网络控制器用于对象的仿真和具体温控炉的现场运行,结果证明设计折思想和方法是正确的。     

基于粒子群算法和模糊神经网络的车牌图像匹配

本文将粒子群算法和模糊神经网络结合用于智能交通中的车牌图像匹配。利用粒子群算法全局寻优的快速性和模糊神经网络精确性，优化神经网络权重学习和训练神经网络。实验结果表明：本文设计算法具有精确性、收敛性和匹配快等特点。     

MIMD机器上流水化BP算法的实现

神经网络训练过程中的高昂计算代价是有待克服的一个主要困难。作者把前馈多层神经网络的相继各层看做流水线的相继步骤，从而提出了一个在ＭＩＭＤ机器上实现的并行ＢＰ算法来提高误差反传递算法的效率。文章的最后，对ＢＰ算法的并行实现进行了分析，理论分析结果显示，多种神经网络结构都可有效地并行化。     

一种具有全局最优的神经网络BP算法

建立了描述上半周加热、下半周绝热不均匀热流边界条件下的水平管内受迫层流与自然对流叠加的混合对流换热的数学模型。该模型考虑了管壁导热和流体的变物性，研究了不同流体（水和乙二醇水溶液）、不同热流方向对对流换热的影响。同时也进行了上半周加热、下半周绝热边界条件下的水平管内混合对流换热的实验研究。理论和实验研究的结果都表明了，重力场对水平管内流体层流对流换热的影响，为在地面重力场中进行模拟太空微重力环境中的空间辐射器的传热实验研究提供了必要的理论和实验依据。     

基于混合学习算法的模糊小波神经网络控制

采用小波函数作为模糊隶属函数,将模糊控制与神经网络相结合,利用神经网络实现模糊推理.针对BP算法易陷入局部极值点的缺点和简单遗传算法局部搜索能力差的不足,提出了一种混合学习算法,即首先利用遗传算法全局搜索的特点来离线优化神经网络的参数,再利用BP算法较强的局部搜索能力对网络参数进行在线调整.仿真结果表明,该网络能对不同的对象实施有效控制,且具有快速、适应性强等特点.     

基于神经网络和遗传算法的无功优化设计

无功优化是一个复杂的混合优化问题,传统方法较难获得全局最优解.文中提出了将并行遗传算法和Hopfield网络相结合的算法.该方法利用遗传算法的并行搜索和解空间搜索的优点进行网络参数的选取,并采用Hopfield网络简单、快速、规范的优点来优化样本空间,以取得整体的优化效率.     

基于神经网络的并行布局算法

根据神经网络串行布局算法 ,进一步研究并提出了与布局问题相适应的神经网络并行计算模型及并行布局算法 ,以负载平衡及系统通信开销最小为目标 .理论分析结果表明 ,运用该算法能达到此目标 ,且具有布局质量高、收敛快、计算简单等特点 ,适于神经网络并行布局     

基于覆盖的神经网络集成在语音识别中的应用

神经网络集成通过训练多个神经网络并将各网络的结论进行合成,从而得到最终结果.集成可以显著的提高学习系统的泛化能力.讨论了基于覆盖思想而设计的神经网络集成方法,并将其应用于汉语孤立数码语音识别系统中,通过在集成过程中加入基于覆盖思想的控制算法降低系统的泛化误差,从而使系统的识别效果有了进一步的提高.     

一种基于遗传算法和LM算法的混合学习算法

针对遗传算法与神经网络结合方式中存在的早熟收敛、泛化能力弱等问题, 提出一种交替使用遗传算法和Levenberg Marquardt算法优化神经网络的混合学习算法（GALM算法）. 该算法先通过遗传算法粗调得到一组全局最优近似解, 再以该近似解为初值, 交替使用遗传算法和LM算法优化神经网络训练, 直至发现满意的网络参数. 实验结果表明, 新算法提高了网络的学习能力和收敛速度.     

神经网络推理机制的电机调整设计专家系统

针对传统电机调整设计专家系统的缺陷,提出一种新型的,基于神经网络推理机制的电机调整设计专家系统模型．该模型将神经网络技术与专家系统技术、优化技术紧密结合,采用并行推理策略,能够有效提高推理效率,解决调整设计过程中调整力度难以确定的问题．     

基于RBF神经网络的烧结终点预测模型

本文提出一种基于径向基函数（RBF）神经网络的烧结终点预测模型。该模型首先采用改进的最近邻聚类算法确定径向基函数中心,接着应用递推最小二乘法训练网络的权值。通过现场采集数据对该模型进行仿真,其实验结果表明,该模型具有较好的学习能力和泛化能力,为烧结终点的预测提供了一种新的解决方法。     

基于进化神经网络的灰色预测模型

为了弥补神经网络用于灰色理论中学习效率低、收敛速度慢、易陷入局部最优等缺点,采用了改进遗传算法IGA(im proved genetic algon ithm)来辅助优化神经网络,实现了对网络连接权的自适应进化,并应用于灰色预测中。提出了进化神经网络灰色预测模型,通过M atlab程序对某地区农村人均收入的数据进行了预测、比较,预测结果误差均在0.3%以下,明显优于传统的GM(1,1)(grey m odel)的预测结果,其误差在10%左右。实例验证,将进化神经网络应用于灰色预测模型中是可行和有效的。