基于属性间交互信息的模糊ID3算法的扩展

模糊ID3算法是模糊决策树归纳中比较普遍和有效的启发式算法．以模糊ID3算法为例,分析了属性之间的冗余信息对构建模糊决策树的影响,并提出一个扩展算法,要求所选择的测试属性不仅和类的交互信息较大,而且和祖先节点上用过的属性之间的交互信息较小．实验结果表明：扩展算法优于模糊ID3算法     

一种改进的决策树算法

为解决决策树算法ID3的多值偏向的缺点,利用属性相似度偏向少值属性的特点,提出一种将属性相似度作为信息熵的系数的属性选择标准,从而提出相应的决策树生成算法.实验结果表明,新算法既避免了以信息熵作为属性选择标准的决策树算法的多值偏向,也避免了以属性相似度作为属性选择标准的决策树算法的少值偏向.     

决策树ID3算法研究及其改进

以ID3算法为基础,提出了改进决策树ID3算法的一种新方法,而该方法建立的决策树与ID3建立的决策树在结点属性选择上具有一致性,因而建立的决策树是相同的,但效率是高的.     

ID3算法的改进和简化

针对ID3算法倾向于选择取值较多的属性的缺点,引进属性重要性来改进ID3算法,并根据改进的ID3算法中信息增益的计算特点,利用凸函数的性质来简化该算法.实验表明,优化的ID3算法与原ID3算法相比,在构造决策树时具有较高的准确率和更快的计算速度,并且构造的决策树还具有较少的平均叶子数.     

一种面向噪声数据的决策树优化算法研究

针对ID3算法构造的决策树结构复杂、对噪声数据比较敏感等局限性,提出一种新的面向噪声数据的决策树构造算法。算法借鉴变精度粗糙集和尺度函数概念,采用不同尺度下近似分类精度选择测试属性构造决策树,在算法形成过程中利用决策规则的可信度对决策树进行修剪,避免了生成的决策树过于庞大。结果表明,该方法是有效的,能够克服部分噪声数据对决策树的影响,且能满足不同用户对决策精度的要求。     

改进ID3决策树算法——SS_ID3算法

从分析ID3决策树算法及解析入手,引入属性样本结构相似度概念,构建了样本结构相似度模型,并以该模型和属性的信息增益共同作为决策树内部结点的选择标准。改进SS_ID3决策树算法,着眼于决策树非叶结点的选择标准的优化,继承了原始ID3决策树算法的优点,并在多值偏向性的修正、决策树的大小控制及分类预测性能等方面取得了积极的改进。     

ID3算法的优化

针对ID3算法倾向于选择取值较多的属性的缺点,首先引入属性重要性进行改进,然后根据ID3算法中信息增益的计算特点,利用凸函数的性质进行简化,减少了信息增益的计算量,提高ID3算法中信息增益的计算效率.实验证明,优化ID3算法与传统ID3算法相比,在构造决策树时具有较高的准确率和更快的计算速度,并且构造的决策树还具有较少的平均叶子数.     

一种改进的决策树分类算法研究

传统的ID3决策树算法存在诸多不足,如计算效率低、多值偏向等,对此,提出了属性值空缺、多值属性的选择以及属性选择标准方面的改进方案,并将加权熵和简化熵引入决策树算法以改进传统ID3算法.实验结果表明,改进后的算法在整体性能方面较目前广泛应用的ID3算法有更优秀的性能表现.     

基于决策属性挑选策略的改进的决策树算法

首先介绍了决策树算法的基本理论和建模过程及传统的决策属性的选取标准。然后介绍了传统的ID3决策树算法,并对常用决策树算法的优缺点进行了总结。以经典的决策树ID3模型为基础,对已有决策属性挑选策略进行了分析和总结,对决策属性挑选策略进行了改进,提出了基于"相关信息增益度"的决策属性挑选策略。该方法基于信息增益的计算标准,并通过引入属性间相关性关系对传统ID3算法"多值偏向性"的缺陷进行补偿。最后,将该方法应用于UCI数据中心的标准数据集合中,从分类精确度方面对改进的ID3算法和传统ID3算法进行比较和分析。通过实验分析,改进的E-ID3算法在分类精确度方面有更优秀的性能表现。     

基于用户领域知识优化ID3算法的研究与应用

本文在ID3算法的基础上引入属性重要度因子和均衡化函数,对ID3算法进行优化,改进了经典ID3算法要求每个属性对类别属性的贡献一样的缺点,可以适用于不同属性对类别属性的贡献不同的情况,同时也弥补ID3算法偏向多值属性的不足。最后给出具体一个实例说明其构造决策树的过程,并将优化算法与经典ID3算法构造的决策树进行了比较,从而得出优化后的算法具有更大的适应范围,且更符合用户实际情况的需要。     

基于贡献因子的改进决策树属性选择方法

对传统ID3算法的信息熵作近似变换达到简化计算的目的,并针对ID3算法倾向于选择取值较多的属性和排斥属性值分布均匀的属性两个缺点,引入贡献因子来改进ID3算法,使属性选择方法平衡的选择划分属性.实验表明,优化后的属性选择方法降低了分类时间,优化了分类结果并能很好地反映实际情况.     

融合GINI指数的C4.5算法的分类研究

信息增益率倾向于取值数较少的属性和产生不平衡的划分,GINI指数偏向于取值数较多的属性且区间趋于平衡的划分.基于此,该文提出融合GINI指数的C4.5改进算法,首先计算候选属性的信息增益率和GINI指数,其次计算信息增益率和GINI指数的比值,最后筛选出比值最大的属性作为划分结点,改进了C4.5算法的不足.以10次10折交叉验证准确率和运行时间为评价指标,通过5组UCI数据测试改进算法性能,并与ID3、C4.5和CART算法对比实验.实验结果表明:融合GINI指数的C4.5算法减轻了属性取值多少对划分结点选择的影响,并且缓和了划分区间的不平衡,提高了分类准确率和运行效率,算法更加稳定,可行有效.     

一种基于互信息的粗糙集知识约简算法

针对粗糙集理论核心内容之一的知识约简问题,该文提出了一种改进的互信息的属性约简算法。该算法结合信息论中信息熵与互信息的概念定义了粗糙集里的一种新的属性重要度,并以此属性重要度为启发式信息进行属性约简。实验分析表明:在大多数情况下,该种算法都能够得到决策表的最小约简。     

基于条件互信息下聚类的朴素贝叶斯分类算法

 采用条件互信息来度量任意2个条件属性之间的关联程度,采用互信息度量各条件属性与类属性间的关联程度,以此作为将各条件属性进行聚类的准则,提出一种新的将条件属性进行聚类的分组技术.同时,结合朴素贝叶斯分类算法,构造了改进的朴素贝叶斯分类模型.通过仿真实验表明该文提出的算法具有较好的分类性能.     

粗糙集在决策树生成中的应用

决策树是归纳学习的重要形式,建造高质量的决策树的关键是选择合适的属性,本文针对ＩＤ３算法对属性间的相依性强调不够等问题,利用粗糙集理论,提出了一种新的启发式函数－分辩率构造决策树。     

基于排序互信息的无监督特征选择

根据排序问题的单调先验知识,无监督学习问题中的观测属性之间也具备单调关系;否则该属性与排序无关,为冗余属性.基于排序互信息反应的两属性之间的单调关系,提出用每个属性与其他属性之间的平均互信息,来衡量每个属性与排序学习的相关程度,具有最高的平均互信息即为排序最相关的属性.     

决策树分类的属性选择方法的研究

针对ID3算法偏向于选择取值较多的属性作为测试属性的缺点,引入OneR算法选择属性的相关子集进行分类,降低无关属性和重复属性对分类的影响。实验结果表明,与ID3算法相比优化后的方案提高了ID3算法的分类准确率,降低了分类时间,同时克服了ID3算法的取值偏置问题,优化了分类结果。     

一种新型混合特征选择方法及其在入侵检测中的应用

针对高维数据包含的不相关和冗余特征影响检测方法性能的问题,提出了集成filter和wrapper方法的混合特征选择新方法.采用基于信息增益的filter方法,删除不相关特征;采用基于改进的自适应遗传算法和评价函数的wrapper方法,获取最优特征子集.在入侵检测中的应用表明,该方法能降低特征选择的时间,检测率和虚警率均优于其它方法.