基于关联度和代价敏感学习的决策树生成法

针对ID3决策树生成法中存在的缺点,通过引用属性关联度和代价敏感学习,提出了一种基于属性关联度和代价敏感学习的决策树生成法。该方法利用粗糙集理论对条件属性进行约减,在构建决策树过程中,把属性的关联程度和性价比作为选择分裂结点的依据,利用改进的信息增益方法构建代价敏感决策树。试验结果表明,该方法在分类准确度和生结点总数量上比常用决策树生成方法优越。     

一种新型决策树属性选择标准

讨论传统决策树算法中三种常用的基于熵的属性选择标准，提出一种基于属性重要性排序的建立决策树的新方法。该方法在决策树的每个内结点首先依据属性重要性将属性进行排序，然后选择最重要的属性作为分类属性生成决策树，并抽取出规则。与传统的决策树数据分类方法相比，此方法可有效地选择出对于分类最重要的分类属性，增强决策树的抗干扰能力，并提高规则的预测精度。     

基于模糊度的决策树生成算法

在处理不确定问题中,生成模糊决策树是一种常用的方法.其算法主要包含2个步骤,一个是树的生成条件,主要是确定扩展属性的选择标准,并以此为核心得到生成模糊决策树的启发式算法.另一个则是树的终止条件,否则会造成树的过度拟合的情况.目前,典型的算法中通常利用粗糙模糊依赖度作为选择扩展属性的依据,但是这个依赖函数不具备单调性,从而导致算法有不收敛的可能,基于这个问题,给出了模糊度的定义,重新定义了模糊依赖度和模糊粗糙度,选择模糊依赖度最大的条件属性作为根结点;然后,使用模糊粗糙度作为叶子结点的终止条件;最后,通过实例说明了整个模糊决策树的归纳过程.     

基于粗糙集的RDT决策树生成算法的研究及应用

介绍了一种基于粗糙集理论的决策树生成算法--RDT(Rought Set Decision Tree).该方法运用了粗糙集理论中条件属性相对于决策属性的核,引入启发式条件计算并选择条件属性作为决策树的根结点或子结点.通过一个例子,与运用信息熵概念建立决策树的算法进行比较,结果表明采用RDT方法得到的决策树优于采用信息熵方法得到的决策树.还讨论了RDT与ID3算法对决策树精度和规模的影响,分析数据分类和知识发现的过程及特点.     

改进ID3决策树算法——SS_ID3算法

从分析ID3决策树算法及解析入手,引入属性样本结构相似度概念,构建了样本结构相似度模型,并以该模型和属性的信息增益共同作为决策树内部结点的选择标准。改进SS_ID3决策树算法,着眼于决策树非叶结点的选择标准的优化,继承了原始ID3决策树算法的优点,并在多值偏向性的修正、决策树的大小控制及分类预测性能等方面取得了积极的改进。     

一种改进的基于粗糙集理论的决策树分类算法

提出一种基于粗糙集理论的决策树分类算法.首先,将核属性集中的核属性进行合取后加入析取变换,实现属性约简;其次,在决策树构造阶段,对各条件属性分别求其上下近似集,进而得到各属性的近似精度.选择近似精度最大的属性作为决策树的根结点,以此方法递归应用到各子树上来选择决策树的结点并实现决策树的剪枝.实例分析表明,改进的算法提高了决策树方法的效率.     

一种可用于分类型属性数据的多变量决策树算法

针对绝大部分多变量决策树只能联合数值型属性,而不能直接为带有分类型属性数据集进行分类的问题,提出一种可联合多种类型属性的多变量决策树算法(CMDT).该算法通过统计各个分类型属性的属性值在各个类别或各个簇中的频率分布,来定义样本集合在分类型属性上的中心,以及样本到中心的距离.然后,使用加权k-means算法划分决策树中的非终端结点.使用这种结点划分方法构建的决策树可用于数值型数据、分类型数据以及混合型数据.实验结果表明,该算法建立的分类模型在各种类型的数据集上均获得比经典决策树算法更好的泛化正确率和更简洁的树结构.     

基于知识粗糙度的多变量决策树的构建

提出了一种基于粗糙集中知识粗糙度的构建多变量决策树的算法.基本思想是,在选择了核属性作为决策树的根节点后,将选择知识粗糙度最小的那个条件属性作为下一个分枝结点的检验属性.     

基于属性重要度的多变量决策树构造方法

文章提出了一种基于属性重要度的多变量决策树的构造算法。基本思想是将等价关系相对泛化的概念用于多变量检验的构造,在单变量结点的构造时,算法倾向选择属性重要度最大的条件属性作为检验属性。实验表明,该算法具有良好的性能,不仅有效降低了树的高度,而且还兼顾了分类的可读性,是效率较高的决策树生成方法。     

一种面向噪声数据的决策树优化算法研究

针对ID3算法构造的决策树结构复杂、对噪声数据比较敏感等局限性,提出一种新的面向噪声数据的决策树构造算法。算法借鉴变精度粗糙集和尺度函数概念,采用不同尺度下近似分类精度选择测试属性构造决策树,在算法形成过程中利用决策规则的可信度对决策树进行修剪,避免了生成的决策树过于庞大。结果表明,该方法是有效的,能够克服部分噪声数据对决策树的影响,且能满足不同用户对决策精度的要求。     

数据挖掘中决策树分类算法的研究

决策树方法是数据挖掘中一种重要的分类方法,决策树是一个类似流程图的树型结构,其中树的每个内部结点代表对一个属性的测试,其分支代表测试的结果,而树的每个叶结点代表一个类别。通过决策树模型对一条记录进行分类,就是通过按照模型中属性测试结果从根到叶找到一条路径,最后叶节点的属性值就是该记录的分类结果。     

基于ROUGH集的决策树测试属性选择方法

测试属性的选择直接影响到决策树中结点的个数甚至是深度,因此如何选择测试属性是研究的一个热点。本文主要介绍了粗集理论的方法。通过比较我们会发现,在单变量决策树的构造上,粗集理论中属性重要性的方法计算量较小,而多变量决策树充分考虑了条件属性间的相关性,因此通过求解信息系统的相对核从而减少决策树结点的个数。     

高泛化能力的变精度粗糙集的决策树算法

现有基于变精度粗糙集模型的决策树生成算法具有如下不足:有些叶子结点上覆盖的实例数太少,导致这些叶子结点的泛化能力太小而没有意义;不能很好地处理不一致的实例集.为解决上述问题,引入属性是否具有决策类这一概念,较好地避免了决策树的过剩生长,使得生成的决策树有较好的泛化能力.给出新的终止条件,即时地终止不一致实例集的生长.在此基础上,给出新的终止条,提出了一种新的基于变精度粗糙集的决策树生成算法.用一实例说明了新算法的效率得到提高.     

基于属性间交互信息的预剪枝ID3算法

ID3算法是决策树归纳中普遍而有效的启发式算法.本文针对ID3算法的不足,给出了一个改进版本,它在选择测试属性时不仅要求该属性和类的交互信息较大,而且要求和祖先结点使用过的属性之间的交互性息尽可能小,从而避免了对冗余属性的选择,实现信息熵的真正减少.在生成树的过程中,设定分类阈值,对树进行剪枝,以避免数据子集过小,使进一步划分失去统计意义.实验结果表明,该算法能构造出比ID3算法更优的决策树.     

决策树ID3算法研究及其改进

以ID3算法为基础,提出了改进决策树ID3算法的一种新方法,而该方法建立的决策树与ID3建立的决策树在结点属性选择上具有一致性,因而建立的决策树是相同的,但效率是高的.     

多代价下的代价敏感属性选择算法比较

代价敏感属性选择在数据挖掘和机器学习中起着关键性作用,代价敏感属性选择问题是经典属性选择问题的自然扩展,已成为越来越多学者的研究热点之一.首先给出多代价下代价敏感属性选择问题的数学模型,然后介绍现有的有代表性的四种代价敏感属性选择算法,最后在四个UCI数据集上进行实验,对四种代价敏感属性选择算法的效果和效率进行比较分析.     

基于属性相似度的决策树生成算法

为寻找最优决策树,对决策树生成方法进行了研究,提出了属性相似度的计算方法,引入了属性相似度,对测试属性进行约简.在此基础上,提出了以属性相似度为启发规则的决策树生成算法.该方法预测精度高,计算简便.     

应用分类贡献函数的决策树构造方法

在构造决策树的过程中,分类属性选择的标准直接影响分类的效果。本文基于粗糙集的理论,提出了在核中应用分类贡献函数来选择分类属性的新方法。利用UCI提供的数据集对该算法和基于信息熵的算法C4.5,以及基于加权平均粗糙度的决策树生成算法相比较。实验证明:用该方法构造的决策树与传统的基于信息熵方法构造的决策树相比较,复杂性低,且能有效提高分类效果。     

多种属性选取标准“多数表决”优化决策树研究

测试属性的选取即属性选择标准是构建决策树的关键及核心,对于同样的数据集,不同的属性选取标准构建的决策树有可能差别很大。对于不知采用何种属性选择标准或者没有一种标准适合所处理的数据集,本文提出了一种解决的方法,即多种属性选取标准多数表决优化决策树算法,该算法利用"专家会诊"的思想,构建决策树,具有更广的适应性和更可能高的准确率。     

一种基于粗糙集的决策树构造方法

决策树是一种有效的数据分类方法。传统的决策树方法是通过信息熵的计算去生成决策树的节点,计算量大。基于粗糙集理论,利用近似精度的概念来进行属性选择,构造决策树,有效地提高了效率并降低了决策树的复杂度。