基于梯度监督学习的理论与应用(Ⅱ)——训练机制

基于梯度算法和前馈网络所具有的普遍近似性质，提出了一种新的监督型多目标系统化训练机制。在学习过程的实现中，该训练机制一方面能使参数集合选择适当以避免过适应，另一方面能以较少的计算及存储复杂度使网络输出达到所要的精度，保证网络具有满意的可检验性和通用性。新的算法（ＰＴＮＴ）能够在一个过程里同时考虑神经网络训练的几个方面，并且在训练时间和准确度方面也都优于ＢＰ算法及其衍生算法。ＰＴＮＴ算法具有类似于ＬＭ算法的收敛性，但存储复杂度远远少于ＬＭ的一半。文中通过仿真结果证明这种监督训练机制和前馈网络在不同问题环境下的适用性，评价了其有效性。     

基于Levenberg-Marquardt算法的神经网络监督控制

提出了基于Levenberg-Marquardt(L-M)算法的前向多层神经网络在线监督的控制方法，其算法是梯度下降法与高斯－牛顿法的结合，对于训练次数及准确度，L－M算法明显优于共轭梯度法及变学习率的BP（Back Propagation)算法，适用于在线学习与控制，因此，利用L－M算法的特点进行在线训练神经网络，以实现实时非线性控制，仿真结果表明，该控制方法优于常规控制算法，明显改善了在未知负载扰动时，伺服系统的踊跃性能，显著地降低了跟踪误差，具有很强的抗干扰能力。     

一种加白化预滤波的回波抵消算法

研究了话音通信中的回波抵消问题，尤其是传统ＬＭＳ算法的收敛性问题。提出了一种加白化预滤波的块修正ＬＭＳ自适应抵消算法（ＷＢＬＭＳ）。计算机模拟结果表明，ＷＢＬＭＳ算法的收敛性明显优于传统的ＬＭＳ算法，增加的运算量也极少。     

用自适应IIR横向滤波器消除电视重影

本文阐述了消重影ＩＩＲ横向滤波器的工作原理、设计方法，分析了其消除重影速度快、效果好的优点，对系统的稳定工作条件进行了论证。文中论述了快速自适应处理中ＬＭＳ算法是最陡梯度法的一种有效近似和简化，推导了求解加权系数的迭代方程。最后用计算机对重影图像进行了消重影模拟实验，验证了该算法（ＬＭＳ）的正确性。     

一种基于优化小波神经网络的语音识别

在以往的BP小波神经网络中,最常用的学习算法是BP算法,BP算法实质上就是梯度下降法,是一种局部搜索算法,梯度下降法使得网络极易陷入局部最小值,从而使得网络训练结果不尽人意,搜索成功概率低.取代传统的梯度下降法,利用粒子群算法对小波神经网络中的参数进行优化.然后利用基于粒子群优化(PSO)的小波神经网络进行抗噪声语音识别实验,仿真结果表明,与BP网络相比,PSO算法在迭代次数、函数逼近误差、网络性能方面均优于BP网络,系统的识别率也得到较大的提高.     

共轭梯度法和最速下降法的混合算法

将共轭梯度法与最速下降法有机地结合起来,构造了一种共轭梯度法和最速下降法的混合算法,并证明了该算法的全局收敛．混合算法既提高了共轭梯度算法的收敛速度,又解决了目标函数“性态不优”时,最速下降法难以求解的问题．同时也可以看到共轭梯度法与最速下降法仅仅是混合算法的特例．     

基于共轭梯度法和最速下降法的非线性测量数据处理

将共轭梯度法与最速下降法有机结合起来，构造出一种解决非线性测量数据处理问题的新方法——混合算法。这种方法充分利用了共轭梯度法和最速下降法良好的收敛优点，既提高了共轭梯度算法的收敛速度，又解决了目标函数“性态不优”时，最速下降法难以解决的问题。文中的算例结果表明，混合算法与单纯的共轭梯度法或最速下降法相比，具有收敛速度快、收敛范围大、适应面宽等特点。     

基于Kalman滤波的基本Elman网络训练新算法

Kalman滤波算法应用于基本Elman网络学习时,收敛速度较快,但收敛精度往往不高;而基于梯度下降的BP算法可以以很高的精度实现输入输出的非线性映射,但在极值点处收敛速度缓慢.针对上述问题,提出一种将Kalman滤波算法应用于基本Elman网络的新学习训练算法.该算法结合Kalman滤波算法和基于梯度下降的BP算法的优点来训练网络,以基本Elman网络隐层单元输出作为非线性系统的状态变量,通过Kalman滤波算法实现状态变量的快速准确跟踪,然后通过梯度下降法修正权值以保证精度.另外,在训练过程中,通过增加训练样本的信息内容来提高网络收敛的精度.仿真结果表明了该算法的有效性.     

一种特殊的下降算法——分裂梯度法

求解无约束优化问题,常用的方法有下降算法,牛顿法,共轭梯度法等。当目标函数为几个光滑函数的和时,一些学者提出并研究了增量梯度算法。其基本思想是循环选取单个函数的负梯度作为迭代方向。增量梯度算法的迭代方向不一定是下降方向,所以不能用下降算法的一维搜索确定步长,因为受限于步长的选择,收敛效率不高。本文结合了下降算法和增量梯度算法的思想,提出了分裂梯度法。简单的说,分裂梯度法循环考虑单个函数的负梯度方向,如果这一方向是下降方向,则选择这一方向为迭代方向;否则选取函数的负梯度方向为迭代方向。最后通过数值实验与最速下降算法、随机下降算法以及增量梯度算法进行对比,结果表明对于某些优化问题,采用分裂梯度法更有效。     

数字蜂房移动通信信道的一种模型

根据数字蜂房移动通信的信号传输过程建立了一种时变的ＦＩＲ信道模型。在此模型基础上，研究了一种新的自适应均衡方法。它基于系统辨识原理，采用改进的归一化变步长最小均方误差（ＭＮＶＳ ＬＭＳ）算法，克服由于多径效应引起的码间干扰（ＩＳＩ）。计算机模拟实验表明，本文提出的ＭＮＶＳ算法其跟踪性能明显优于ＮＶＳ和传统的ＬＭＳ算法，且运算量小，具有良好的实用性。     

最速下降法和共轭梯度的混合算法及全局收敛

将最速下降法与共轭梯度法有机结合起来,构造出一种混合优化算法,并证明其全局收敛性.这种混合优化算法结合了共轭梯度法和最速下降法产生搜索方向,既提高了共轭梯度算法的收敛速度,又解决了目标函数的等值线是扁长椭球时,最速下降法下降缓慢的问题,具有收敛速度快、收敛范围大、适应面广等特点.文中的算法实例表明,混合算法与单纯的共轭梯度法相比,效果更优.     

一类基于Levenberg—Marquardt算法的神经PID控制研究

传统的比例积分控制器具有一定的局限性,尤其是当被控对象会有非线性、不确定性和时变特性,常规的PID控制器往往难以发挥作用,甚至会失稳．利用神经网络进行复杂过程的PID控制可以很好地解决上述问题．Levenberg—Marquadt（LM）算法是梯度下降法与高斯一牛顿法的结合,就训练次数与精度而言,它明显优于共轭梯度法及变学习率的BP算法,适用于PID控制．得到了在线自适应神经网络PID控制算法,该算法改善了传统BP算法,实现了现有PID控制器控制方法．     

一类基于Levenberg-Marquardt算法的神经PID控制研究

传统的比例积分控制器具有一定的局限性,尤其是当被控对象会有非线性、不确定性和时变特性,常规的PID控制器往往难以发挥作用,甚至会失稳.利用神经网络进行复杂过程的PID控制可以很好地解决上述问题.Lvenberg-Marquardt(LM)算法是梯度下降法与高斯-牛顿法的结合.就训练次数与精度而言,它明显优于共轭梯度法及变学习率的BP算法,适用于PID控制.得到了在线自适应神经网络PID控制算法,该算法改善了传统BP算法,实现了现有PID控制器控制方法.     

线性化逐层优化MLP训练算法

提出了线性化逐层优化ＭＬＰ训练算法（ＬＯＬＬ）．ＬＯＬＬ采用循环方式逐层对ＭＬＰ的连接权值进行训练．训练连接权值时用一阶泰勒级数表示神经元的非线性激活函数以实现神经网络的线性化,使ＭＬＰ的训练问题转化为一个线性问题．同时,为保证神经网络线性化条件不被破坏,ＬＯＬＬ通过在神经网络的误差函数中计入部分线性化误差限制参数的改变幅度,对神经网络的误差函数进行了修正．实验结果显示,ＬＯＬＬ训练算法的速度比传统的ＢＰ算法快４倍,用它构成的语音信号非线性预测器有较好的预测性能．     

推广形式的自适应算法:理论分析及应用

提出一种广义的最陡梯度下降自适应算法（ＬＭＫ），它可使误差的任意次范数达最 小，分析了算法的收敛性和收敛结果，给出了步长范围估计及据噪声分布形式合理选择 目标函数的公式．在合成数据上做了试验，理论分析和试验结果表明，当噪声是非高斯 分布时．选择非二次范数作为目标函数可获得较好的效果，用于地震信号的反褶积也得 到比最小平方反褶积更好的结果。     

修正的HS共轭梯度算法的全局收敛性

对求解无约束优化问题的共轭梯度法中的方向参数给定新的区间取法，将HS共轭梯度参数限制在此区间上，保证搜索方向是目标函数的充分下降方向，在此基础上提出了修正HS共轭梯度算法（MHS），并在较弱的条件下讨论了新算法在广义Armijo步长搜索下的全局收敛性。数值试验结果表明，新算法比广义Armijo步长搜索下的FR、PR、HS共轭梯度算法有效。     

一种自适应步长的复合梯度加速优化算法

自适应步长加速(Adam)类算法由于其计算效率高、兼容性好的特点，成为近期相关领域的研究热点.针对Adam收敛速度慢的问题，本文基于当前梯度、预测梯度以及历史动量梯度，提出一种新型Adam类一阶优化算法——复合梯度下降法(C-Adam)，并对其收敛性进行了理论证明.与其他加速算法的区别之处在于，C-Adam将预测梯度与历史动量区别开，通过一次真实的梯度更新找到下一次迭代更精准的搜索方向.利用两组常用测试数据集及45钢静拉伸破坏实验的实验数据对所提算法进行验证，实验结果表明C-Adam与其他流行算法相比较具有更快的收敛速度及更小的训练损失.     

PVG膜剂量计线性响应范围的估计

对辐射致色薄膜剂量计（ＰＶＧ）的辐照响应过程进行了研究，发现其剂量响应曲线上有一极大点，考查了隐色孔雀绿（ＬＭＧ）的极大转化率Ｃｅｘｔ与隐色孔雀绿（ＬＭＧ）和有机齿代物（ＲＸ）量含量的关系，进而讨论了ＰＶＧ膜剂量计线性响应范围的上限与膜中ＬＭＧ是含量的关系。在该体系中当ＬＭＧ量含量在２０～１００μｍｏｌ·ｇ＾－１范围内时，其线性响应范围时上限估计在１４０～１１０ｋＧｙ范围内。     

结合Armijo步长搜索的一类新记忆梯度算法及其收敛特征

对于求解无约束规划的共轭梯度算法中的共轭梯度方向参数，给定一个假设条件，确定它的一个取值范围，以保证搜索方向是目标函数的充分下降方向，由此提出了一类新的记忆梯度算法。在去掉迭代点列有界和Armijo步长搜索下，讨论了算法的全局收敛性，同时给出了结合FR、PR、HS共轭梯度算法的修正形式。数值实验表明，新算法比Armijo步长搜索下的FR、PR、HS共轭梯度法更稳定、更有效。     

共轭下降法的一个全局收敛性结果

共轭梯度法是求解无约束最优化问题的一个著名方法，共轭下降法是其中的一种，它最早由Fletcher提出，在对共轭下降法进行研究并确定了步长λk时，使用了一种新的Armijo类型的搜索，证明了新算法的可行性及佤中收敛性，提出的搜索简单易行，丰富了共轭梯度法的内容。