前馈网络的一种线性化快速学习算法

针对前馈神经网络的反向传播（ＢＰ）学习算法收敛速度慢的缺点,提出了一种新的学习算法即线性化快速学习算法。这种学习算法在神经网络学习的初期,采用标准ＢＰ学习算法。而当神经网络接近最优点时,由于此时其连接权重调节幅度很小,因此采用对各层神经元的非线性作用函数进行泰勒级数展开,并取其一阶展开式近似逼近原函数,从而使其非线性作用函数转化为线性作用函数,简化了网络学习过程的计算量,加速了网络的学习速度。文中最后给出了采用线性化算法与标准ＢＰ算法对正弦函数的学习过程。     

前馈网络灵敏度：分析及降低算法

在前馈网络中,不同的权值组合可逼近同一映射。网络的灵敏度取决于权值的变化。文中提出了计算网络灵敏度的方法和一种降低网络灵敏度的学习算法。网络的灵敏度分析包括单输出、多输出及输入变化、权值变化等情况。学习算法是在网络训练过程中加入随机噪声。次种学习算法与传统学习算法相比,可降低网络的灵敏度,但学习收敛速度基本相同。     

一种基于因素贡献率的自适应前馈网络算法

前馈网络具有很强的信息处理能力,但是实际应用中的样本量有限,训练出来的网络效果不太理想,本文提出一种自适应前馈网络算法,通过调节参数α向量,使网络结构按精确度和推广能力来综合考虑,若训练出来的网络满足先决条件,就认为网络规模是合适的,此算法不仅能删除隐层中的节点也能删掉输入层中若干总贡献率小的节点,从而避免了维数灾难,并给出一种调整剩余权重的算法,避免重新训练,文中讨论了网络结构的重要性,并用该方法进行仿真实验,结果证明了自适应前馈网络算法具有较强的建模能力。     

深层前馈网络的单调同伦学习算法

本文研究前馈神经网络的结构以及快速二阶学习算法，首先提出一种能和适应分布网络结构的深层前馈网络模型，并利用构造性方法证明了该网络的通有逼近性质，为改进网络学习效率及大范围收敛性，提出了网络权值学习的单调同伦方法，该方法具有与牛顿法相同的二阶收敛性，数值实例显示了该方法的高效性与大范围收敛性，深层前馈网络模型具有自适应分布网络结构，高度非线性逼近性以及可实现快速学习算法等特点。     

多层前馈神经网络的动态规划算法

利用动态规划来训练多层前馈网络,即逐层修改网络的权值。其算法采用有关文献提出的矩阵的广义逆的正交反向传播算法,经有限次迭代即可得到每一层的最优权值。     

一种基于信息熵数据修剪的支持向量机:EB-SVM

支持向量机在处理分类问题时,如果两类数据重叠严重会造成分类器过学习,降低泛化性能。为此提出了一种基于信息熵的数据修剪支持向量机EB-SVM(entropy based-support vector machine),其主要思想是通过计算样例信息熵删除部分边缘数据和边界处混淆程度较高的样例以及噪声数据,用较少的训练样例学习SVM分类器。实验结果表明,该方法能够有效提高SVM的泛化性能。     

基于信息熵的粒子群优化算法

粒子群算法是一种进化计算技术,成功地运用于广泛的数值优化问题.PSO算法在求解高维复杂函数优化问题时容易陷入局部最优.有鉴于此,提出了一种基于信息熵的粒子优化算法.该算法提高设计了一种兼顾种群选择性压力以及种群多样性的选择策略,从而提高了粒子在运行过程中的多样性.实验表明,该算法有效避免了陷入局部最优,提高了全局最优解的搜索精度.     

基于单隐层前馈神经网络的优化算法

前馈神经网络是神经网络中最常用的函数近似技术。根据普适定理,单隐层前馈神经网络(a single-hidden layer feedforward neural network,SFNN)可以任意接近相应的期望输出。一些研究人员使用遗传算法(genetic algorithms,GAs)探索FNN结构的全局最优解。然而,使用GAs来训练SFNN是相当费时。提出了一种新的SFNN优化算法。该方法是基于凸组合算法(convex combination algorithm,CCA)在隐含层上分析信息数据。事实上,该技术是将分类遗传演算法结合交叉策略的GAs算法。改进方法比GAs算法性能更优,但在进行学习和遗传演算前需要大量预处理工作如将数据分解为二进制代码。同时设置一个新的误差函数量化SFNN性能、获得连接权值最优选项以直接解决非线性优化问题。采用几个计算实验验证改进算法,结果表明改进方法更适合寻找单隐含层SFNN的最优权重。     

前馈神经网络的一个新的混沌学习算法

利用混沌运动的遍历性特点,将logistic 映射与BP算法相结合,给出一个多层前馈网络的新的混沌学习算法。仿真结果表明,本算法取得了良好的效果。     

一种新的基于目标反传的前馈式神经网络训练算法

提出了一种基于目标反传的前馈式神经网络训练算法,该算法将网络的目标输出信息反传到网络的每一个隐层上,于是将神经网络的训练问题转化为求解一系列线性方程组和线性不等式组的问题,数值实验结果表明本文提出的方法与传统的BP算法相比提高了网络的训练速度.     

前馈神经网络学习新算法及其仿真

目前基于高斯牛顿法及其衍生算法的前馈神经网络虽然可以达到局部二阶收敛速度,但只对小残量或零残量问题有效,对大残量问题则收敛很慢甚至不收敛．为了实时解决神经网络学习过程中可能遇到的小残量问题和大残量问题,引入拟牛顿(QuasiNewton)优化算法,并与LM(Levemberg—Marquardt)法相结合,构建基于LM—QuasiNewton法的前馈神经网络．仿真实例表明,该神经网络较好地解决了残量问题,具有良好的收敛性和稳定性．     

前馈神经网络权值学习综合算法

目前基于高斯牛顿法及其衍生算法的前馈神经网络虽然可以达到局部二阶收敛速度,但只对小残量或零残量问题有效,对大残量问题则收敛很慢甚至不收敛.为了实时解决神经网络学习过程中可能遇到的小残量问题和大残量问题,引入NL2SOL优化算法与GaussNewton法相结合,并引入熵误差函数,构建基于GaussNewton NL2SOL法的前馈神经网络.仿真实例表明,该神经网络较好地解决了残量问题,具有良好的收敛性和稳定性.     

基于超立方体与信息熵的离散化方法

针对粗糙集中连续属性需要离散化问题进行了研究.根据数据对象的可分辨性原理构造超立方体,在数据空间上对信息表中的连续属性进行整体离散化处理.根据条件属性与决策属性的一致性关系,依照条件属性在粗糙集边界域中的分类能力来确定条件属性的重要性,在此基础上选取重要划分点对信息表中的连续属性进行局部离散化,同时以信息熵作为迭代约束条件.数值示例和实验表明这种整体与局部相结合的离散化方法是有效可行的.     

A Heuristic Clustering Algorithm for Intrusion Detection Based on Information Entropy

0Introduction Withmoreandmorestudyingprojectsapplythedataminingtechnologytointrusiondetection,agreatdealofdataminingalgorithmsforintrusiondetectionhavebeenre alized[1],thetypicalis:associationruleminingalgorithm,frequencysceneruleminingalgorithm,classificationalgo rithm,andclusteringalgorithm.Thefirstthreealgorithmofthosebelongto“thesupervisedstudying”,whichneedatrain ingdatasetofgoodqualityandwithmarking,butitisnoteasyusuallytogetthetrainingdataset[2].However,cluste ringalgorithmis“theunsu…     

基于模糊聚类和信息熵的综合评价算法

针对目前综合评价技术存在的主旨不相协调、忽略了简洁性与有效性问题,在分析已有算法的基础上,提出了一种基于模糊聚类和信息熵的综合评价算法,该算法有针对性地克服了原有评价算法的缺陷,具有较好的实用性,最后通过实际数据对该算法的有效性进行了验证.     

多感官群集智能算法及其在前向神经网络训练方面的应用

针对连续域函数优化问题,提出了一种新的全局极大值搜索方法--多感官群集智能算法(multi-sense swarm intelligence algorithm,MSA). 受鱼群算法(artificial fish-swarm algorithm,AFA)和FS算法(free search algorithm,FSA)的启发,MSA的搜索机制将大范围勘察和小范围精确搜索相结合,个体在使用视觉信息快速逼近局部较优解的同时,利用嗅觉信息避免群体过于集中并引导个体向全局较优解方向移动. 仿真结果证明:MSA鲁棒性较强,全局收敛性好,收敛速度较快,收敛精度较高. 最后,将该方法应用于前向神经网络训练,结果表明满足应用要求.     

基于模糊信息熵的彩铃客户属性约简算法

针对彩铃业务交易记录海量化和客户属性高维化、混合性的特点,提出一种应用模糊信息熵对彩铃客户属性进行约简的方法。以两个地区的营销返回样本为原始数据,结合CART分类器和10折交叉验证,比较由文中方法和经典粗糙集属性约简方法得到的特征数量和分类精度。实验结果表明,文中方法获得了相对较高的平均分类精度(81.36%)和最少的平均特征属性(4.5个),有效地约简了彩铃客户属性并改善了分类能力。     

基于最大信息熵的小波图像去噪算法研究

去噪算法在图像处理的过程中占有极其重要的地位。为了对含有高斯白噪声和脉冲噪声的图像进行去噪,在Donoho提出的小波阈值去噪算法的基础上,提出一种基于最大信息熵的小波去噪算法,根据最大信息熵的理论确定了改进型阈值和改进型加权阈值函数中的加权因子。仿真结果表明,该算法能够同时抑制高斯白噪声和脉冲噪声,可以更好地保留图像的边缘细节,与Donoho提出的小波阈值去噪算法的去噪效果相比,具有更好的去噪性能。