时变最优化信息处理技术及其应用(

分析了时变目标函数及其最优解的时变性能     

时变最优化信息处理技术及其应用(Ⅰ)——基本思想与系统辨识

分析了时变目标函数及其最优解的时变性能，提出了跟踪时变目标函数最优解的一阶和二阶方法，其中二阶方法能使时变目标函数最优解的跟踪以指数速率收敛。     

前馈神经网络的二阶学习算法

前馈神经网络是神经网络中应用最广的一种。但由于神经网络采用Ｂ－Ｐ算法，收敛速度慢。在分析了神经网络算法原理的基础上，提出了一种基于变质量法的优化训练算法。仿真证明，这种算法能够大大提高神经网络的收敛速度。     

前馈神经网络的逐层优化学习算法

提出了求解前馈神经网络的逐层优化学习算法，首先对输出层权值进行优化，然后再对隐层权值进行优化，如此交替迭代直至求出最优解。在分层优化过程中，对节点激池数进行了线性，同时为防止由于线性化造成较大的误差，在目标函数中加入惩罚项。     

激励函数可调的前馈神经网络在线学习算法

针对标准ＢＰ算法的不足,提出了一种激励函数可调的前馈神经网络在线学习算法。该方法去除了样本的预处理过程,以在线方式训练前馈神经网络,同时修正网络的权重,阈值与激励函数。,上于避免了神经元的输出饱和现象,算法的收敛速度明显提高,并在一定程度上防止了局部极小解的出现。仿真结果证明了这种算法的有效性。     

一种新型的前馈多层神经网络学习算法

利用矩阵Ｍｏｏｒｅ－Ｐｅｎｒｏｓｅ逆的方法,提出了一种新型的前馈多层神经网络学习算法－ＭＢＰ算法。该算法采用了群体搜索的策略,打破了ＢＰ算法一次一点的搜索方式,一次可搜索权空间中的一个超平面,仿真结果表明,该算法在提高收敛速度和避免陷入局部极小点方面都有一定的进展。     

基于时变神经网络的迭代学习辨识算法

为了实现在有限时间区间上可重复运行的离散时变非线性系统辨识,给出基于时变神经网络的迭代学习辨识算法.对于每一个固定时刻,以该时刻的神经网络逼近该时刻系统输入输出间的映射关系,提出了在同一时刻沿迭代轴训练网络权值的带死区迭代学习最小二乘算法,为防止收敛速度下降过快,进一步提出了协方差阵可重调的改进算法.所提算法有较快的收敛速度,且时变神经网络对非线性时变系统的辨识精度也较高.     

数学神经网络（Ⅱ）：神经网络的学习算法

重点研究神经网络的学习算法，给出了单人单出，多入单出，单入多出及多入多出网络学习算法的通用公式，指出了目前人工神经网络研究的方法没有跑出计算数学的圈子，人工神经网络所具有的“优点”并没有真正的实现。     

分区前馈神经网络及其算法

基于鲎小眼间侧向抑制的Hartline Ratliff模型，文中将自组织网络与BP网络相结合，提出了一种分区前馈神经网络，并给出其具体学习，仿真算法.该网络结构能反映人脑多网络结构，并行处理信息的特点，因而具有学习快速，一定程度上克服局部极小和适合并行计算的特点.计算机仿真的算例证明，即使在患行计算机学习时间也可以减少到以往的50%以下，而与传统的前馈神经网络具有相同的泛化能力.     

一个改进的BP神经网络自适应学习算法

提出了一个改进的自适应变步长ＢＰ网络学习算法,对多个布尔学习问题以及Ｆｉｓｈｅｒ收集的一个植物分类问题进行计算．结果表明,该算法不仅有相当快的收敛速度,而且在避免学习过程陷入局部极小方面也取得较好结果．     

前馈型神经网络新学习算法的研究

前馈神经网络在非线性系统的建模及控制中有着广阔的应用前景,但是该网络的学习算法—向后传播算法(Backpropagation(BP)Algorithm)算法存在一些不足。为了提高多层前馈神经网络的学习效率及稳定性,引入了非线性最小二乘法。通过与其他学习算法的比较,得出结论:其中用差商近似代替导数的Powell法是一种高效、快速的学习方法,其学习速率比带动量项的学习率自适应的BP算法高一个量级,而比Daviden Fletcher Powell(DFP)、BroydenFletcher Goldfarl Shanno(BFGS)等变尺度方法以及其他非线性最小二乘法的稳定性要好得多。     

前馈型神经网络新学习算法的研究

前馈神经网络在非线性系统的建模及控制中有着广阔的应用前景,但是该网络的学习算法-向后传播算法(Backpropagation (BP) Algorithm)算法存在一些不足.为了提高多层前馈神经网络的学习效率及稳定性,引入了非线性最小二乘法.通过与其他学习算法的比较,得出结论:其中用差商近似代替导数的Powell法是一种高效、快速的学习方法,其学习速率比带动量项的学习率自适应的BP算法高一个量级,而比Daviden Fletcher Powell (DFP)、Broyden Fletcher Goldfarl Shanno (BFGS)等变尺度方法以及其他非线性最小二乘法的稳定性要好得多.     

前馈神经网络快速算法及其应用

针对现有前馈神经网络学习算法的缺陷,提出一种前馈神经网络的快速学习算法.该算法是基于无监督学习中的主元分析算法的Oja规则和监督学习中δ规则的.与现有同类算法相比,该算法简化了学习过程,计算量小,有更快的学习收敛速度和更高的收敛精度,较适用于快速学习的系统辨识和其他应用.系统辨识的仿真实例表明了该算法的优良性能.     

前馈神经网络的一个改进的BP学习算法

在文［８］的工作基础上,利用模型逼近度和训练误差函数值相对误差函数梯度向量长度的变化率,给出前馈神经网络的一个自适应学习算法对一具体的分类问题进行计算,结果表明本文算法效果良好,改进了文［８］的算法     

前馈神经网络的一个新的混沌学习算法

利用混沌运动的遍历性特点,将logistic 映射与BP算法相结合,给出一个多层前馈网络的新的混沌学习算法。仿真结果表明,本算法取得了良好的效果。     

神经网络学习算法中的奇点及振荡算法

以前向神经网络为基础，基于梯度下降规则，推导了ＯＩＮＮ的学习算法，说明由梯度下降规则推导出的学习算法中存在奇点。奇点经常导致学习陷入“伪局部极小”，大大影响了学习进程，奇点产生的原因是对节点特性函数的求导，对节点特性函数的修改可使算法避免奇点，提出了一种振荡算法可有效地克服局部极小。     

前馈神经网络中BP算法的一种改进

在传统的BP算法基础上,提出了一种改进的BP学习算法,先加入描述网络复杂性的量,使算法能够考虑到网络的连接复杂性,进而有可能删除掉冗余的连接甚至节点;接着提出对网络的学习步长的动态调整,以此来尽量避免传统学习中的学习速度过慢和反复震荡;然后给出新的算法是高阶非线性收敛的证明;最后通过实验说明的新的BP算法在一定程度上可减少网络的复杂性,有着比传统算法更快的收敛速度。     

一种新的前馈神经网络删剪算法

前馈神经网络中隐层神经元的个数与它的学习和泛化能力密切相关.通过广义逆矩阵算法解决最小二乘问题改进神经网络自构行学习算法,得到一种新的前馈神经网络删剪算法.将新算法用于已经训练好的大型网络,能删剪“冗余”的隐层神经元,得到一个最精简的神经网络.此精简的神经网络不需要重新训练仍能保持原有的性能,并且泛化能力很好.仿真实例说明此算法的有效性和可行性.     

高阶反馈型神经网络及其在优化计算中的应用

本文用神经网络来求解多元函数的极值.针对 Hopfield 网络的局限,提出了一种高阶反馈型神经网络,并从数学上证明了这个网络具有良好的稳定性.当阶数为2时,功能类似于 Hopfield 网络,但比它稳定.本文还给出求解多元高次函数全局最优解的方法.最后给出了该网络的计算机数值仿真.     

任意前馈神经网络的稀疏化算法

主要讨论前馈神经网络的稀疏化,即如何确定和删除网络中冗余的神经元和连接。首先给出前馈神经网络的数学定义,并将偏序和拓扑排序引入到前馈神经网络的学习算法和稀疏化算法中。在此基础上提出了冗余神经元和连接的判断依据,并按照自构形和自调整的策略,提出了适用于前馈神经网络的自构形学习算法和自调整删减算法。实验结果表明,上述的稀疏化算法不仅能够有效地删除网络中冗余的神经元和连接,而且能够改善网络的性能。