基于粗糙集决策树优化研究

决策树分类方法是一种有效的数据挖掘分类方法.单变量决策树结构简单,但规模较大.多变量决策树是为了进一步缩减树的规模而提出的决策树结构,通过选取属性的合理组合作为分裂属性,可使树的规模相对较小.文章在对以往所提出的混合变量决策树算法RSH2的抗噪性差和属性被多次选取等问题进行改进的基础上,提出了基于粗糙集的多变量决策树算法VPMDT.通过与ID3、HACRs、RSH2和C4.5等算法进行的实验比较表明,VPMDT有较好的时空性能,并保持较高的分类预测正确率.     

基于粗糙集决策树算法的研究

传统的决策树方法在实际应用中存在很多不足,如生成树规模过大,抗噪性较差等,因此,提出了将变精度粗糙集和混合变量集算法应用于决策树分类中,通过变精度和混合属性集分类减小树的规模和过度拟合问题,降低了噪声数据对属性选择的影响,并通过实验证明该算法与传统的算法相比具有较大的优越性。     

一种可用于分类型属性数据的多变量决策树算法

针对绝大部分多变量决策树只能联合数值型属性,而不能直接为带有分类型属性数据集进行分类的问题,提出一种可联合多种类型属性的多变量决策树算法(CMDT).该算法通过统计各个分类型属性的属性值在各个类别或各个簇中的频率分布,来定义样本集合在分类型属性上的中心,以及样本到中心的距离.然后,使用加权k-means算法划分决策树中的非终端结点.使用这种结点划分方法构建的决策树可用于数值型数据、分类型数据以及混合型数据.实验结果表明,该算法建立的分类模型在各种类型的数据集上均获得比经典决策树算法更好的泛化正确率和更简洁的树结构.     

基于决策类划分新型多变量决策树算法实例分析

利用"基于决策类划分的新型多变量决策树算法"中的五大步骤,以"气象信息系统表"为实例构造多变量决策树,取得的结果与著名的单变量决策树(ID3)方法和粗糙集多变量决策树方法所获得的结果相同,证明本算法有效。其决策树构造过程简单,易于理解。通过时间复杂度的比较,证明本算法优于粗糙集算法速度更优和ID3算法。     

基于ROUGH集的决策树测试属性选择方法

测试属性的选择直接影响到决策树中结点的个数甚至是深度,因此如何选择测试属性是研究的一个热点。本文主要介绍了粗集理论的方法。通过比较我们会发现,在单变量决策树的构造上,粗集理论中属性重要性的方法计算量较小,而多变量决策树充分考虑了条件属性间的相关性,因此通过求解信息系统的相对核从而减少决策树结点的个数。     

大数据环境下决策树的研究

传统决策树在中小型数据集的预测分类上表现优秀,但在大数据集的处理上仍然存在效率低下、准确率较低等问题.为了适应大数据集环境,国内外学术界和工业界提出了将决策树与分布式处理平台相结合的分布式决策树算法,面向大数据处理的Hadoop和Spark分布式计算系统的出现,为研究分布式决策树算法提供了新的契机.为此,面向以基于大数...     

应用分类贡献函数的决策树构造方法

在构造决策树的过程中,分类属性选择的标准直接影响分类的效果。本文基于粗糙集的理论,提出了在核中应用分类贡献函数来选择分类属性的新方法。利用UCI提供的数据集对该算法和基于信息熵的算法C4.5,以及基于加权平均粗糙度的决策树生成算法相比较。实验证明:用该方法构造的决策树与传统的基于信息熵方法构造的决策树相比较,复杂性低,且能有效提高分类效果。     

用扩展巴科斯范式优化决策树协议解码技术

基于规则的入侵检测系统中存在误报、漏报率高,检测速度慢等问题,为此在协议分析的基础上,提出一种基于决策树的协议解码方法。该方法使用扩展巴科斯范式描述检测规则,给出推理规则的定义;提出构造最优决策树和增量决策树的算法;通过构造基于决策树的入侵检测系统,将该方法与简单模式匹配,与基于动态规则集、基于状态转换两种协议解码方法进行了比较。实验结果表明:基于扩展巴科斯范式的协议解码方法,在误报率方面比其他3种方法分别降低10.08%,0.1%,1.51%;在漏报率方面分别降低15.56%,3.68%,2.86%。     

基于属性重要度的多变量决策树构造方法

文章提出了一种基于属性重要度的多变量决策树的构造算法。基本思想是将等价关系相对泛化的概念用于多变量检验的构造,在单变量结点的构造时,算法倾向选择属性重要度最大的条件属性作为检验属性。实验表明,该算法具有良好的性能,不仅有效降低了树的高度,而且还兼顾了分类的可读性,是效率较高的决策树生成方法。     

基于MR的并行决策树分类算法的设计与实现

决策树分类方法是实现数据挖掘中分类任务的一种有效方法,但在大规模测试数据集上运行时其实现性能受到严重影响.本文设计和实现一种基于MapReduce架构的并行决策树分类算法.实验结果表明:基于MapReduce的决策树分类算法比同类算法在其他并行编程模型下的实现在计算节点较多的情况下能得到更优的性能.     

一种基于粗糙集的决策树构造方法

决策树是一种有效的数据分类方法。传统的决策树方法是通过信息熵的计算去生成决策树的节点,计算量大。基于粗糙集理论,利用近似精度的概念来进行属性选择,构造决策树,有效地提高了效率并降低了决策树的复杂度。     

基于知识粗糙度的多变量决策树的构建

提出了一种基于粗糙集中知识粗糙度的构建多变量决策树的算法.基本思想是,在选择了核属性作为决策树的根节点后,将选择知识粗糙度最小的那个条件属性作为下一个分枝结点的检验属性.     

基于Rough集的决策树算法

针对基于Rough集的经典分类算法值约简算法等不适合大数据集的问题，提出了基于Rough集的决策树算法。采用一个新的选择属性的测度——属性分类粗糙度作为选择属性的启发式，该测度较Rough中刻画属性相关性的测度正区域等更为全面地刻画了属性分类综合贡献能力，并且比信息增益和信息增益率的计算更为简单。采取了一种新的剪枝方法——预剪枝，即在选择属性计算前基于变精度正区域修正属性对数据的初始划分模式，以更有效地消除噪音数据对选择属性和生成叶节点的影响．采取了一种与决策树算法高度融合的简单有效的检测和处理不相容数据的方法，从而使算法对相容和不相容数据都能进行有效处理。对UCI机器学习数据库中几个数据集的挖掘结果表明，该算法生成的决策树较ID3算法小，与用信息增益率作为启发式的决策树算法生成的决策树规模相当。算法生成所有叶节点均满足给定最小置信度和支持度的决策树或分类规则，并易于利用数据库技术实现，适合大数据集。     

决策树优化研究

提出用新的极值点禁忌搜索算法构造分类问题的全局优化决策树,该算法呆用于不可微分的目标函数。全局树优化方法是非贪婪的,用于构造具有固定结构的多变量决策树,将多变量决策树表示成析取线性不等式集合,全局树优化就是使析取线性不等式中的分类误差最小化。     

一种面向噪声数据的决策树优化算法研究

针对ID3算法构造的决策树结构复杂、对噪声数据比较敏感等局限性,提出一种新的面向噪声数据的决策树构造算法。算法借鉴变精度粗糙集和尺度函数概念,采用不同尺度下近似分类精度选择测试属性构造决策树,在算法形成过程中利用决策规则的可信度对决策树进行修剪,避免了生成的决策树过于庞大。结果表明,该方法是有效的,能够克服部分噪声数据对决策树的影响,且能满足不同用户对决策精度的要求。     

基于粗糙集与决策树理论的救援等级决策算法

民航应急救援是民航航空安全系统的重要组成部分,是航空安全的基本保障。在救援过程中,救援等级的决策直接影响到对整个事态的评估及所需救援措施、救援力量的确定。在救援等级决策中,利用粗糙集理论对传统的决策树构造算法——ID3算法作了一些改进,对原始数据表进行属性约简,并在决策树的构造过程中引入粗糙度,得出了较好的救援等级决策规则。     

基于粗糙集的决策树集成学习算法

【目的】为提高决策树集成的泛化能力和效率,解决集成全部决策树的情况下有时并不显著提高精度、反而导致额外存储和计算开销的问题,提出一种基于粗糙集的决策树集成学习算法。【方法】该算法基于粗糙集理论,从训练的全部决策树中选择一部分进行集成。【结果】与目前流行的集成学习算法Bagging和Boosting相比,本文提出的算法有效地减小了集成规模,并获得更好的泛化能力。【结论】该算法提高了决策树集成的泛化能力和效率。