粗糙集在决策树生成中的应用

决策树是归纳学习的重要形式,建造高质量的决策树的关键是选择合适的属性,本文针对ＩＤ３算法对属性间的相依性强调不够等问题,利用粗糙集理论,提出了一种新的启发式函数－分辩率构造决策树。     

应用分类贡献函数的决策树构造方法

在构造决策树的过程中,分类属性选择的标准直接影响分类的效果。本文基于粗糙集的理论,提出了在核中应用分类贡献函数来选择分类属性的新方法。利用UCI提供的数据集对该算法和基于信息熵的算法C4.5,以及基于加权平均粗糙度的决策树生成算法相比较。实验证明:用该方法构造的决策树与传统的基于信息熵方法构造的决策树相比较,复杂性低,且能有效提高分类效果。     

基于非线性拟合方程的多变量决策树算法

根据数据属性间存在的线性相关和非线性相关影响决策树性能的特点,提出了一种用拟合回归建立决策树的算法,并利用这种相关性来提高分类能力.该算法选择了一个较优的属性子集,对此子集中的属性进行加权组合,用于构造决策树的节点,采用二次多项式来拟合两个属性间可能存在的相关性,从而构造出分类能力更强的决策树.研究中用UCI标准数据集对各种算法进行测试及比较,实验结果及分析表明此决策树算法具有良好性能.     

基于关联度和代价敏感学习的决策树生成法

针对ID3决策树生成法中存在的缺点,通过引用属性关联度和代价敏感学习,提出了一种基于属性关联度和代价敏感学习的决策树生成法。该方法利用粗糙集理论对条件属性进行约减,在构建决策树过程中,把属性的关联程度和性价比作为选择分裂结点的依据,利用改进的信息增益方法构建代价敏感决策树。试验结果表明,该方法在分类准确度和生结点总数量上比常用决策树生成方法优越。     

一种新型决策树属性选择标准

讨论传统决策树算法中三种常用的基于熵的属性选择标准，提出一种基于属性重要性排序的建立决策树的新方法。该方法在决策树的每个内结点首先依据属性重要性将属性进行排序，然后选择最重要的属性作为分类属性生成决策树，并抽取出规则。与传统的决策树数据分类方法相比，此方法可有效地选择出对于分类最重要的分类属性，增强决策树的抗干扰能力，并提高规则的预测精度。     

C4.5分类算法在硕士研究生智育测评中的应用

将C4.5决策树分类算法用于硕士研究生智育测评并提取规则.对考试成绩进行处理,选取决策属性,构造决策树,由提取的规则,获取课程间的依赖关系,以及各门课程和培养目标间的联系,挖掘结果显示,该算法能将学习成绩进行正确分类,指导教育管理者制定正确的培养计划,对辅助决策有很大帮助.     

一种面向噪声数据的决策树优化算法研究

针对ID3算法构造的决策树结构复杂、对噪声数据比较敏感等局限性,提出一种新的面向噪声数据的决策树构造算法。算法借鉴变精度粗糙集和尺度函数概念,采用不同尺度下近似分类精度选择测试属性构造决策树,在算法形成过程中利用决策规则的可信度对决策树进行修剪,避免了生成的决策树过于庞大。结果表明,该方法是有效的,能够克服部分噪声数据对决策树的影响,且能满足不同用户对决策精度的要求。     

基于关联度的代价敏感决策树生成方法

针对常用决策树生成方法中存在的缺点,通过引用属性关联度和代价敏感学习,利用粗糙集理论对条件属性进行约减。在构建决策树过程中,把属性的关联程度和性价比作为选择分裂结点的依据,利用改进的信息增益构建代价敏感决策树。试验结果表明,该方法在分类准确度和生成决策的结点总量上比常用决策树生成方法优越。     

基于粗糙集的RDT决策树生成算法的研究及应用

介绍了一种基于粗糙集理论的决策树生成算法--RDT(Rought Set Decision Tree).该方法运用了粗糙集理论中条件属性相对于决策属性的核,引入启发式条件计算并选择条件属性作为决策树的根结点或子结点.通过一个例子,与运用信息熵概念建立决策树的算法进行比较,结果表明采用RDT方法得到的决策树优于采用信息熵方法得到的决策树.还讨论了RDT与ID3算法对决策树精度和规模的影响,分析数据分类和知识发现的过程及特点.     

基于决策属性挑选策略的改进的决策树算法

首先介绍了决策树算法的基本理论和建模过程及传统的决策属性的选取标准。然后介绍了传统的ID3决策树算法,并对常用决策树算法的优缺点进行了总结。以经典的决策树ID3模型为基础,对已有决策属性挑选策略进行了分析和总结,对决策属性挑选策略进行了改进,提出了基于"相关信息增益度"的决策属性挑选策略。该方法基于信息增益的计算标准,并通过引入属性间相关性关系对传统ID3算法"多值偏向性"的缺陷进行补偿。最后,将该方法应用于UCI数据中心的标准数据集合中,从分类精确度方面对改进的ID3算法和传统ID3算法进行比较和分析。通过实验分析,改进的E-ID3算法在分类精确度方面有更优秀的性能表现。     

基于统计学法则的连续属性值划分方法

目前决策树中很多分类算法例如ID3/C4.5/C5.0等都依赖于离散的属性值,并且希望将它们的值域划分到一个有限区间。利用统计学法则,提出一种新的连续属性值的划分方法;该方法通过统计学法则来发现精准的合并区间。另外在此基础上,为提高决策树算法分类学习性能,提出一种启发式的划分算法来获得理想的划分结果.在UCI真实数据集上进行仿真实验.结果表明获得了一个比较高的分类学习精度、与常见的划分算法比较起来有很好的分类学习能力。     

基于ROUGH集的决策树测试属性选择方法

测试属性的选择直接影响到决策树中结点的个数甚至是深度,因此如何选择测试属性是研究的一个热点。本文主要介绍了粗集理论的方法。通过比较我们会发现,在单变量决策树的构造上,粗集理论中属性重要性的方法计算量较小,而多变量决策树充分考虑了条件属性间的相关性,因此通过求解信息系统的相对核从而减少决策树结点的个数。     

一种新的简化ID3决策树的算法

决策树简化是决策树学习算法中的一个重要分支。文章以 ID3算法构造的决策树为基础 ,提出了一种高效的简化决策树的算法。算法先序遍历由 ID3构造出来的决策树的各个节点并对其子树进行比较 ,如果各子树的属性都相同而且存在某些相应的分支对于各子树完全相同 ,则改变决策树中相应属性的层次关系并把相同的分支分别合并起来。算法减少了决策树的深度、宽度与叶子数目 ,降低了决策树的规模。尤其对于逻辑表达式的归纳学习 ,简化之后的决策树要明显优于原决策树。     

基于属性相似度的决策树生成算法

为寻找最优决策树,对决策树生成方法进行了研究,提出了属性相似度的计算方法,引入了属性相似度,对测试属性进行约简.在此基础上,提出了以属性相似度为启发规则的决策树生成算法.该方法预测精度高,计算简便.     

基于正域的决策树构造方法

决策树是数据挖掘中的一种重要分类方法。在此以粗糙集理论中的正域为启发式函数,设计了一种新的、有效的决策树构造方法。该算法具有较大的灵活性,能从测试属性空间逐次删除已使用过的属性。避免对这些属性进行重复测试,减少测试空间,降低了树的复杂性,从而提高了分类效率。最后,实例验证了算法的可行性与有效性。     

基于模糊度的决策树生成算法

在处理不确定问题中,生成模糊决策树是一种常用的方法.其算法主要包含2个步骤,一个是树的生成条件,主要是确定扩展属性的选择标准,并以此为核心得到生成模糊决策树的启发式算法.另一个则是树的终止条件,否则会造成树的过度拟合的情况.目前,典型的算法中通常利用粗糙模糊依赖度作为选择扩展属性的依据,但是这个依赖函数不具备单调性,从而导致算法有不收敛的可能,基于这个问题,给出了模糊度的定义,重新定义了模糊依赖度和模糊粗糙度,选择模糊依赖度最大的条件属性作为根结点;然后,使用模糊粗糙度作为叶子结点的终止条件;最后,通过实例说明了整个模糊决策树的归纳过程.