基于信息熵的决策树

熵是一个衡量系统混乱程度的统计量,将熵的概念引入决策树中,可以创建生成能够对数据进行更好地分类的决策树。     

基于信息增益和GEP的决策树属性约简算法

分类是数据挖掘的一个重要研究方向,使用决策树进行分类是一种常用而且高效的分类方法。目前传统的算法有ID 3、C 4.5、CART等,这些算法都有如下的局限性:必须人工输入归类集合,划分属性,确定最优的分类集合。为了解决这些问题,本文做了如下工作:①提出信息增益排列GEP染色体头部的思想;②给出基于信息增益的GEP构造决策树属性约简算法(IG-GEPDTAR)并用实验进行验证;③实验表明该算法构造的决策树在具有100%准确性的同时,比使用GEP算法构造的决策树减少了冗余分支,其节点数比传统的ID 3算法和P ID算法构造的决策树的节点数分别减少了82.9%和31.2%。     

信息理论框架下的神经网络构建

神经网络模型的构建方法是神经网络研究的重点和难点,传统的构建方法建立在实验和重复学习的基础上,本文提出了一种信息理论框架下的神经网络构建方法基于熵的神经网络(EBNN).EBNN借助于前馈网络与决策树的等价性,采用熵做为神经网络构造的准则,利用决策树的构造思想和方法,建立了一种系统的神经网络构造方法.实验表明EBNN方法学习速度比传统BP网络快,但又不降低神经网络性能.     

基于决策树构造神经网络的方法及应用

基于知识的神经网络KBNN(Knowledge-Based Neural Network)在提高神经计算性能方面效果显著,其构造方法基于已得的规则.利用决策树对数值数据的分割能力和神经网络准确的逼近收敛能力,提出了一种利用C4.5决策树从数据中自动提取规则生成神经网络的构造方法.该方法易于构造、收敛速度快、精度较高,在高速公路路面破损智能识别系统中使用效果良好.     

基于多准则的多层模糊神经网络学习算法

模糊算子函数丢失信息量过大,并且在某些点不存在导数,由此导致在采用传统的误差平方和准则优化网络参数时,有些参数无法得到调整,而且网络容易陷入局部极小,甚至发散.本文提出了一种基于模糊熵准则和误差平方和准则的多准则多层模糊神经网络学习算法,在一定程度上克服了单准则学习算法的局限性.     

基于决策树的神经网络规则抽取方法

将从神经网络中抽取一个可理解的模型视为一个归纳学习任务 ,其中 ,目标概念就是神经网络表达的功能 ,所生成的可理解模型是一个能很好近似神经网络的决策树 .在这个过程中 ,应用了决策树归纳学习的优化原则 ,使得生成的决策树能最简洁、准确地描述神经网络学到的知识 .实验证明 ,生成的决策树可以很好地近似神经网络 ,且比用传统方法生成的决策树具有更好的分类精度 ,同时NNtoDT算法也保持了具有较好的通用性和可扩充性的特性 .     

一种基于改进信息增益特征选择的最大熵模型文本分类方法

针对传统信息增益(IG)特征选择算法忽略词频分布的缺陷,该文提出一种新的IG特征选择算法.该算法通过引入均衡比和类内词频位置参数,解决了传统IG算法忽略词频分布对分类的弱化问题,修正传统类内词频位置参数,提高特征选择算法的文本分类精度,并将该改进IG特征选择算法用于最大熵模型(ME)对文本进行分类.实验结果表明:该文所提方法在进行文本分类时F1值高于传统IG算法.该文方法的ME分类精度高于K最近邻KNN(K-Nearest Neighbor)算法,说明本文方法是可行的、有效的.     

基于小波能谱熵和神经网络的输电线故障识别

在暂态电流信号小波变换结果的基础上,采用小波能谱熵定义,对小波分解系数进行处理,提出了一种基于小波能谱熵和神经网络的输电线路故障类型识别方法。该方法通过计算故障前后三相电流信号小波变换系数沿尺度分布的小波能谱熵,经过适当处理,输入神经网络,利用神经网络在模式识别方面的优势,输出结果即为故障类型识别的结果。仿真结果表明,该故障类型识别方法不受故障类型、故障电阻及故障位置等因素的影响,识别结果准确可靠。     

基于ROUGH集的决策树测试属性选择方法

测试属性的选择直接影响到决策树中结点的个数甚至是深度,因此如何选择测试属性是研究的一个热点。本文主要介绍了粗集理论的方法。通过比较我们会发现,在单变量决策树的构造上,粗集理论中属性重要性的方法计算量较小,而多变量决策树充分考虑了条件属性间的相关性,因此通过求解信息系统的相对核从而减少决策树结点的个数。     

基于熵权-离差的GA-BP神经网络编程能力评估方法

针对在线评测系统中缺少对学习者编程能力的客观反馈和评估指标权重难以确定的问题,建立遗传算法(genetic al-gorithm,GA)优化反向传播(back propagation,BP)(GA-BP)神经网络的编程能力评估模型.通过对在线评测系统的数据进行挖掘,提取编程能力评估指标,采用双参数平衡熵权法和离差最大化法的客观组合赋权方法确定指标权重以及编程能力评估值,将评估值作为GA-BP神经网络的期望输出,并与单一BP神经网络确定的编程能力评估结果进行比较.研究结果表明,利用该模型能够实现对学习者编程能力的评估且评估结果更准确.     

应用Hopfield神经网络优化最大熵的图像恢复算法

基于图像最大熵分析,提出了一种基于Hopfield神经网络优化的图像恢复算法.将图像恢复问题转化为Hopfield神经网络优化问题,取恢复图像熵函数最大以及原始图像与恢复图像之间的误差平方和最小作为图像恢复的目标,构造能量函数连续型Hopfield神经网络模型,由Hopfield神经网络能量函数极小化可得到问题的优化解,其算法通过仿真实验,验证了算法的优越性.     

BP 网络中的熵函数准则(英文)

从极限角度证明了传统ＢＰ算法收敛速度慢、产生局部极小点的原因之一是该算法采用的均方误差准则并提出了一种基于熵函数准则的ＢＰ算法，理论分析和仿真结果都表明此熵函数准则优于均方误差函数准则     

基于AIC准则优化的径向神经网络微地形曲面重构

采用RBF网络模型进行复杂微地形曲面重构,建立了适应于曲面重构的RBF网络模型.在建立网络模型过程中,对不同的聚类半径由最近邻聚类法求出不同类别的聚类数目及相应的聚类中心和初始扩展常数,通过对不同类别分别进行调整扩展常数的网络训练,求出其最小AIC量,再根据赤池信息量准则确定最优结构的RBF神经网络模型,从而进行复杂微地形的曲面重构.实验结果表明:该方法能较好地反映原始地形;这种基于AIC准则将样本输入信息与样本输出信息同时考虑,进行RBF网络结构优化的方法,为确定最优RBF网络模型的隐节点数目及相应参数提供了途径.     

Designing Neural Network Model in Distributed Control System

The realizing of Artificial Neural Network(ANN) in Distributed Control System (DCS) is discussed. The model of ANN designed can be called as easily as conventional algorithm. It can act as an ANN controller or as an identifier in adaptive control system.     

上下文决策树学习算法及其在机械波图像中的应用

机器学习技术在现代各种数据分析中是备受关注的有效方法之一,目前已在众多领域得到广泛应用。文章以目前较为流行的决策树学习为重点,介绍了决策树学习的几个较为成熟的算法,并将相应算法应用到机械波图像分析中,提出了5点、7点与11点上下文决策树学习算法。通过实验验证该处理方法是有效的。     

多维特征空间中模式分类神经网络的一种设计方法

提出了一种在多维空间Ｒｎ中模式分类神经网络设计的新方法。可确定网络的拓扑结构，包括隐层、隐元个数及连接权系数。特别是由于二次阈值神经元的特例——超球面阈值神经元的使用，对特征空间Ｒｎ的分割比使用超平面阈值神经元时需利用Ｖｏｒｏｎｏｉ图进行凸区域分割简便的多。因而设计成的神经网络结构清楚直观。     

基于信息熵的ID3分类算法的研究

ID3分类算法无法处理连续性数据并且在选择分裂属性时明显倾向于取值多的属性，无法产生准确的规则。基于信息熵的连续数据离散化预处理技术有效地拓展了ID3算法的应用领域，并提出了基于信息增益率的分裂属性选择方法，样例数据测试结果分析表明：该分类算法改正了在选择分裂属性时明显倾向于取值多的属性的缺陷，提高了分类的精度。     

基于信息增益的网络流量特征采集分析系统

随着Internet宽带网络应用的高速发展,其承载的业务越来越复杂,尤其是P2P应用占用了大量带宽,网络带宽扩充总是难以满足用户带宽需求不断上升的要求,如何远程监测网络流量并合理优化带宽分布成网络优化的关键技术。传统网管系统难以满足远程网络流量特征实时分析的需求,基于网络流量特征信息熵理论,建立了一种新的基于信息增益的远程网络流量特征采集系统。实验结果表明,该方法可以有效提高流量特征采集效率,实现远程流量特征的实时分析。