基于粗集的混合变量决策树构造算法研究

文章提出混合变量决策树结构,并在此基础上提出基于粗集理论的混合变量决策树构造算法RSH2,算法在每个结点选择尽可能少的属性明确划分尽可能多的实例,减小了决策树规模,且易于理解。将RSH2算法与ID3算法及基于粗集的单变量决策树算法HACRs进行实验比较,结果表明该算法有良好性能。     

一种可用于分类型属性数据的多变量决策树算法

针对绝大部分多变量决策树只能联合数值型属性,而不能直接为带有分类型属性数据集进行分类的问题,提出一种可联合多种类型属性的多变量决策树算法(CMDT).该算法通过统计各个分类型属性的属性值在各个类别或各个簇中的频率分布,来定义样本集合在分类型属性上的中心,以及样本到中心的距离.然后,使用加权k-means算法划分决策树中的非终端结点.使用这种结点划分方法构建的决策树可用于数值型数据、分类型数据以及混合型数据.实验结果表明,该算法建立的分类模型在各种类型的数据集上均获得比经典决策树算法更好的泛化正确率和更简洁的树结构.     

基于粗糙集决策树算法的研究

传统的决策树方法在实际应用中存在很多不足,如生成树规模过大,抗噪性较差等,因此,提出了将变精度粗糙集和混合变量集算法应用于决策树分类中,通过变精度和混合属性集分类减小树的规模和过度拟合问题,降低了噪声数据对属性选择的影响,并通过实验证明该算法与传统的算法相比具有较大的优越性。     

一种面向噪声数据的决策树优化算法研究

针对ID3算法构造的决策树结构复杂、对噪声数据比较敏感等局限性,提出一种新的面向噪声数据的决策树构造算法。算法借鉴变精度粗糙集和尺度函数概念,采用不同尺度下近似分类精度选择测试属性构造决策树,在算法形成过程中利用决策规则的可信度对决策树进行修剪,避免了生成的决策树过于庞大。结果表明,该方法是有效的,能够克服部分噪声数据对决策树的影响,且能满足不同用户对决策精度的要求。     

管理分类规则的广义决策树

为了将传统的决策树无法管理的、由各种分类算法所发现的大量的有意义的规则进行有效的存储、剪裁和使用 ,提出了广义决策树结构。它将传统决策树的结构进行扩展 ,能够以较少的存储代价管理所发现的所有分类规则 ,且易于表达规则之间的关系。提出了有效的优化策略。以此树为基础 ,将决策树分类算法与基于关联规则的分类算法进行了概括统一 ,并提出了相应的算法。实验结果证明 ,广义决策树克服了传统决策树的缺点 ,并且适宜于维护、剪裁以及快速搜索大量的分类规则     

基于决策属性挑选策略的改进的决策树算法

首先介绍了决策树算法的基本理论和建模过程及传统的决策属性的选取标准。然后介绍了传统的ID3决策树算法,并对常用决策树算法的优缺点进行了总结。以经典的决策树ID3模型为基础,对已有决策属性挑选策略进行了分析和总结,对决策属性挑选策略进行了改进,提出了基于"相关信息增益度"的决策属性挑选策略。该方法基于信息增益的计算标准,并通过引入属性间相关性关系对传统ID3算法"多值偏向性"的缺陷进行补偿。最后,将该方法应用于UCI数据中心的标准数据集合中,从分类精确度方面对改进的ID3算法和传统ID3算法进行比较和分析。通过实验分析,改进的E-ID3算法在分类精确度方面有更优秀的性能表现。     

基于属性重要度的多变量决策树构造方法

文章提出了一种基于属性重要度的多变量决策树的构造算法。基本思想是将等价关系相对泛化的概念用于多变量检验的构造,在单变量结点的构造时,算法倾向选择属性重要度最大的条件属性作为检验属性。实验表明,该算法具有良好的性能,不仅有效降低了树的高度,而且还兼顾了分类的可读性,是效率较高的决策树生成方法。     

基于粗糙集的RDT决策树生成算法的研究及应用

介绍了一种基于粗糙集理论的决策树生成算法--RDT(Rought Set Decision Tree).该方法运用了粗糙集理论中条件属性相对于决策属性的核,引入启发式条件计算并选择条件属性作为决策树的根结点或子结点.通过一个例子,与运用信息熵概念建立决策树的算法进行比较,结果表明采用RDT方法得到的决策树优于采用信息熵方法得到的决策树.还讨论了RDT与ID3算法对决策树精度和规模的影响,分析数据分类和知识发现的过程及特点.     

基于McDiarmid不等式的决策树分类算法

大多数处理数据流的决策树方法是基于Hoeffding不等式设计的。但是Hoeffding不等式本身只能处理数值数据流,并且在属性度量方面存在不足。为了解决这个问题,文章在Hoeffding不等式算法的基础上引入McDiarmid不等式,将二者融合并做了相应的改进作为新的属性度量选择,提出了一种基于McDiarmid不等式的新决策树分类算法,即McTree。该算法使用ε/2进行属性分类度量来提高分类性能。在真实与虚拟数据流上的实验结果表明,McTree与经典算法相比,在分类精度升高或几乎保持不变的情况下,生成树的规模明显降低。其中生成树节点数平均降低70%左右,树层数平均降低50%左右。     

基于粗糙集理论的决策树构造算法

应用粗糙集理论,提出了一种利用新的启发式函数构造决策树的方法。该方法以属性重要性评价指标作为信息熵函数,对务件属性进行选择,充分考虑了属性间的依赖性和冗余性,弥补了ID3算法对属性间依赖性强调不够的缺点,解决了决策树中子树的重复和有些属性在同一决策树上被多次选择的问题,该方法还能对不相容决策表进行正确分类。实例表明该方法是正确有效的,而且明显优于传统的决策树构造方法。     

一种新的模糊决策树模型及其应用

模糊决策树是决策树在模糊环境下的一种推广,虽然其表示形式更符合人类的思维,但在构造时会增加预处理的工作量和创建树时的开销。基于这种情况,提出了一种混合算法,算法保留了较少属性值的Shannon熵,计算多属性和连续属性值模糊化后的模糊熵。将该算法应用于滑坡数据的挖掘中,得到了更易于理解的决策树和有效的规则,与传统算法的性能比较也证明了该算法的有效性。     

Induction of hybrid decision tree based on post-discretization strategy

By redefining test selection measure, we propose in this paper a new algorithm, Flexible NBTree, which induces a hybrid of decision tree and Naive Bayes. Flexible NBTree mitigates the negative effect of information loss on test selection by applying postdiscretization strategy: at each internal node in the tree, we first select the test which is the most useful for improving classification accuracy, then apply discretization of continuous tests. The finial decision tree nodes contain univariate splits as regular decision trees, but the leaves contain Naive Bayesian classifiers. To evaluate the performance of Flexible NBTree, we compare it with NBTree and C4.5, both applying pre-discretization of continuous attributes. Experimental results on a variety of natural domains indicate that the classification accuracy of Flexible NBTree is substantially improved.     

粗糙集在决策树生成中的应用

决策树是归纳学习的重要形式,建造高质量的决策树的关键是选择合适的属性,本文针对ＩＤ３算法对属性间的相依性强调不够等问题,利用粗糙集理论,提出了一种新的启发式函数－分辩率构造决策树。     

基于Rough集的决策树算法

针对基于Rough集的经典分类算法值约简算法等不适合大数据集的问题，提出了基于Rough集的决策树算法。采用一个新的选择属性的测度——属性分类粗糙度作为选择属性的启发式，该测度较Rough中刻画属性相关性的测度正区域等更为全面地刻画了属性分类综合贡献能力，并且比信息增益和信息增益率的计算更为简单。采取了一种新的剪枝方法——预剪枝，即在选择属性计算前基于变精度正区域修正属性对数据的初始划分模式，以更有效地消除噪音数据对选择属性和生成叶节点的影响．采取了一种与决策树算法高度融合的简单有效的检测和处理不相容数据的方法，从而使算法对相容和不相容数据都能进行有效处理。对UCI机器学习数据库中几个数据集的挖掘结果表明，该算法生成的决策树较ID3算法小，与用信息增益率作为启发式的决策树算法生成的决策树规模相当。算法生成所有叶节点均满足给定最小置信度和支持度的决策树或分类规则，并易于利用数据库技术实现，适合大数据集。     

自动生成决策树的通用算法模板

目的 提供自动生成决策树的通用算法模板,从而使算法的设计能够快速验证为解决特定决策问题而设计的新算法。方法 提供智能编辑器供算法设计定义自己的公式,并利用该公式或内置算示来初始化通用算法模板,从而实现连续属性的离散化、采用基于概率分布的方法处理未知属性和噪声数据,利用预剪枝和后剪枝算法进行剪枝。结果与结论 用户能够利用该模板,在系统提供的交互式图形环境中,针对不同的决策问题测试决策树生成算法。     

基于改进ID3算法的决策树构建

介绍了决策树算法的基本原理,指出在决策树构建的过程中,ID3（Interative Dichotomic Version3）算法按照信息增益最大的原则选取属性,公式比较复杂,相应计算的复杂度也比较高,耗费较多的硬件资源．相对于ID3算法而言,条件概率决策树算法按照条件概率最大的原则选取属性,条件概率能够把属性和类别联系在一起,公式比较简单,有效地降低了计算的复杂性,并且决策树的建立提高了系统的精确度和检测速度．     

决策树优化研究

提出用新的极值点禁忌搜索算法构造分类问题的全局优化决策树,该算法呆用于不可微分的目标函数。全局树优化方法是非贪婪的,用于构造具有固定结构的多变量决策树,将多变量决策树表示成析取线性不等式集合,全局树优化就是使析取线性不等式中的分类误差最小化。     

基于分类精度和相关性的随机森林算法改进研究

为了提升传统随机森林算法的分类精度,本文首先对传统随机森林模型中的决策树根据分类性能评价指标AUC值进行降序排列,从中选取出AUC值高的决策树,计算这些决策树之间的相似度并生成相似度矩阵,然后根据相似度矩阵对这些决策树进行聚类,从每一类中选出一棵AUC最大的决策树组成新的随机森林模型,从而达到提升传统随机森林算法分类精度的目的。通过UCI数据集的实验表明,改进后的随机森林算法分类精度上最大提高了2.91%。