一种抗噪的概念漂移数据流分类方法

隐含概念漂移的数据流分类问题是数据挖掘领域研究的热点之一,而实际数据中的噪音会直接影响概念漂移检测及分类质量,因此具有良好抗噪性能的数据流分类方法具有重要的研究和应用价值.随机决策树的集成模型是一种有效的数据流分类模型,为此本文基于随机决策树,引入Hoeffding Bounds不等式来检测和区分概念漂移和噪音,根据检测结果动态调整滑动窗口的大小和漂移检测周期,并提出一种增量式的集成分类方法ICDC,实验结果表明,本文算法在含噪音数据流上处理概念漂移是有效的.     

基于改进的随机决策树的煤矿安全评价方法

煤矿监测数据实质是一种数据流,煤矿安全评价可以看作是数据流的分类,分类的标识为安全和不安全。在随机决策树模型的基础上,使用Hoeffding Bounds不等式与信息熵确定分割点,代替用随机选择方法确定分割点。实验结果表明该方法对数据流分类具有更好的分类精度,为煤矿安全评价提供了一种新的实用方法。     

大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.     

基于决策树的数据流挖掘算法的研究

由于数据流的快速流动性以及计算机内存的限制，因此要设计好的数据流挖掘算法是很困难的事。近几年来，对数据流进行数据挖掘的算法相继被提出。本文主要阐述分类算法中基于决策树的各种数据流挖掘算法，包括传统的增量式的决策树分类、基于Hoeffding tree的VFDT、可调整的VFDT（即CVFDT）以及使用整合技术的决策树分类算法，通过分析比较，总结了各种算法的主要特征，为国内研究者提供借鉴。     

基于Rough集的决策树算法

针对基于Rough集的经典分类算法值约简算法等不适合大数据集的问题，提出了基于Rough集的决策树算法。采用一个新的选择属性的测度——属性分类粗糙度作为选择属性的启发式，该测度较Rough中刻画属性相关性的测度正区域等更为全面地刻画了属性分类综合贡献能力，并且比信息增益和信息增益率的计算更为简单。采取了一种新的剪枝方法——预剪枝，即在选择属性计算前基于变精度正区域修正属性对数据的初始划分模式，以更有效地消除噪音数据对选择属性和生成叶节点的影响．采取了一种与决策树算法高度融合的简单有效的检测和处理不相容数据的方法，从而使算法对相容和不相容数据都能进行有效处理。对UCI机器学习数据库中几个数据集的挖掘结果表明，该算法生成的决策树较ID3算法小，与用信息增益率作为启发式的决策树算法生成的决策树规模相当。算法生成所有叶节点均满足给定最小置信度和支持度的决策树或分类规则，并易于利用数据库技术实现，适合大数据集。     

数据流上基于属性最优分类的熵判定树构造方法

讨论了基于最优属性分类的熵构造判定树数据流挖掘算法,阐明算法中如何处理分枝属性、选取最优属性以及数据清理及剪枝等关键环节,可及时快速的对数据流进行及时有效的处理,此方法可满足数据流聚类的应用要求。     

基于属性重要度的多变量决策树构造方法

文章提出了一种基于属性重要度的多变量决策树的构造算法。基本思想是将等价关系相对泛化的概念用于多变量检验的构造,在单变量结点的构造时,算法倾向选择属性重要度最大的条件属性作为检验属性。实验表明,该算法具有良好的性能,不仅有效降低了树的高度,而且还兼顾了分类的可读性,是效率较高的决策树生成方法。     

面向不完全标记数据流的集成分类算法

实际数据流中许多数据是无标签的,且其中隐含着不同类型的概念漂移。为此,本文提出了一种面向不完全标记数据流的集成分类算法,该算法利用K均值聚类算法标记无标签实例,利用Hoeffding Bounds不等式确定的双阈值检测概念漂移,同时动态地更新分类模型以适应数据流环境的变化。实验结果表明,本文提出的算法能够在类传播过程中具有较高标记正确率,又能从噪音中识别出不同类型的概念漂移。     

基于粗糙集决策树算法的研究

传统的决策树方法在实际应用中存在很多不足,如生成树规模过大,抗噪性较差等,因此,提出了将变精度粗糙集和混合变量集算法应用于决策树分类中,通过变精度和混合属性集分类减小树的规模和过度拟合问题,降低了噪声数据对属性选择的影响,并通过实验证明该算法与传统的算法相比具有较大的优越性。     

一种面向不平衡分类的改进多决策树算法

在处理不平衡数据集时,为了降低类重叠对分类效果的影响,避免过采样造成的过拟合现象,以及欠采样造成的信息丢失问题,本文提出一种基于欠采样与属性选择的多决策树方法UAMDT(multi-decision tree based on under-sampling and attribute selection)。其首先利用Tomek link欠采样与集成欠采样两种技术相结合对数据进行处理,并获得多个平衡子集;然后在每个平衡子集上构建单决策树,采用结合信息增益和基尼指数的混合属性度量作为属性选择标准,选择最优属性作为每棵单决策树的根节点的分裂属性;最后将单决策树进行集成构建多决策树。通过对10个不平衡数据集的多个评估指标进行实验,验证了本文算法的有效性和可行性。     

基于模糊度的决策树生成算法

在处理不确定问题中,生成模糊决策树是一种常用的方法.其算法主要包含2个步骤,一个是树的生成条件,主要是确定扩展属性的选择标准,并以此为核心得到生成模糊决策树的启发式算法.另一个则是树的终止条件,否则会造成树的过度拟合的情况.目前,典型的算法中通常利用粗糙模糊依赖度作为选择扩展属性的依据,但是这个依赖函数不具备单调性,从而导致算法有不收敛的可能,基于这个问题,给出了模糊度的定义,重新定义了模糊依赖度和模糊粗糙度,选择模糊依赖度最大的条件属性作为根结点;然后,使用模糊粗糙度作为叶子结点的终止条件;最后,通过实例说明了整个模糊决策树的归纳过程.     

一种新型决策树属性选择标准

讨论传统决策树算法中三种常用的基于熵的属性选择标准，提出一种基于属性重要性排序的建立决策树的新方法。该方法在决策树的每个内结点首先依据属性重要性将属性进行排序，然后选择最重要的属性作为分类属性生成决策树，并抽取出规则。与传统的决策树数据分类方法相比，此方法可有效地选择出对于分类最重要的分类属性，增强决策树的抗干扰能力，并提高规则的预测精度。     

应用分类贡献函数的决策树构造方法

在构造决策树的过程中,分类属性选择的标准直接影响分类的效果。本文基于粗糙集的理论,提出了在核中应用分类贡献函数来选择分类属性的新方法。利用UCI提供的数据集对该算法和基于信息熵的算法C4.5,以及基于加权平均粗糙度的决策树生成算法相比较。实验证明:用该方法构造的决策树与传统的基于信息熵方法构造的决策树相比较,复杂性低,且能有效提高分类效果。     

数据流决策树分类方法综述

数据流的特征是海量的、高速流动的、实时处理的.由于一些数据分布随着时间而改变,因此将这些数据流称为概念漂移.首先按照分类模型对数据流决策树进行分类,分为单分类决策树和集成分类决策树.单分类模型分为快速决策树、变异决策树和其他决策树算法.集成分类模型分为衍生快速决策树和随机决策树变体算法.其次介绍了概念漂移处理技术,包括概念漂移问题的描述、常见的概念漂移处理技术和用于解决概念漂移的决策树算法.接着介绍了增量模型决策树算法,最后对本文介绍的决策树算法进行分析总结.     

基于正域的决策树构造方法

决策树是数据挖掘中的一种重要分类方法。在此以粗糙集理论中的正域为启发式函数,设计了一种新的、有效的决策树构造方法。该算法具有较大的灵活性,能从测试属性空间逐次删除已使用过的属性。避免对这些属性进行重复测试,减少测试空间,降低了树的复杂性,从而提高了分类效率。最后,实例验证了算法的可行性与有效性。     

一种有效的C 4.5改进模型

介绍了一种有效的决策树改进模型:R-C 4.5及其简化版本,旨在构造一棵简单的树,同时提高决策树属性选择度量的可解释性,减少空枝和无意义分枝,以及过度拟合。该决策树模型基于著名的C 4.5决策树模型,但在属性的选取和分枝策略上进行了改进。在R-C 4.5中,通过合并分类效果差的分枝,有效避免了碎片等问题。实验表明,R-C 4.5决策树在保持模型预测准确率的同时,有效改进了树的健壮性。作为R-C 4.5的简化版本,R-C 4.5c和R-C 4.5s可生成更为简单的树,而且R-C 4.5s通过数据预处理阶段完成,易于实现。     

决策树技术在农场管理中的应用研究

决策树方法是一种非常有效的分类方法,这种方法能够用来改善农场管理中的薄弱点。决策树计算基于C4.5算法,这种算法构造决策树采用自顶向下递归策略,把信息增益率的高低作为属性选择的度量标准。     

基于权重搜索树改进K近邻的高维分类算法

信息采集技术日益发展导致的高维、大规模数据,给数据挖掘带来了巨大挑战,针对K近邻分类算法在高维数据分类中存在效率低、时间成本高的问题,提出基于权重搜索树改进K近邻(K-nearest neighbor algorithm based on weight search tree,KNN-WST)的高维分类算法,该算法根据特征属性权重的大小,选取部分属性作为结点构建搜索树,通过搜索树将数据集划分为不同的矩阵区域,未知样本需查找搜索树获得最"相似"矩阵区域,仅与矩阵区域中的数据距离度量,从而降低数据规模,以减少时间复杂度.并研究和讨论最适合高维数据距离度量的闵式距离.6个标准高维数据仿真实验表明,KNN-WST算法对比K近邻分类算法、决策树和支持向量机(support vector machine,SVM)算法,分类时间显著减少,同时分类准确率也优于其他算法,具有更好的性能,有望为解决高维数据相关问题提供一定参考.     

决策树最佳分类算法浅析

决策树分类是有指导的学习分类过程,首先建立一个模型,其次是利用模型进行分类,即利用生成的决策树对输入数据进行分类。决策树是通过计算信息熵选择分裂属性的,而信息熵正是该属性重要性的度量标量。     

基于粗糙集决策树优化研究

决策树分类方法是一种有效的数据挖掘分类方法.单变量决策树结构简单,但规模较大.多变量决策树是为了进一步缩减树的规模而提出的决策树结构,通过选取属性的合理组合作为分裂属性,可使树的规模相对较小.文章在对以往所提出的混合变量决策树算法RSH2的抗噪性差和属性被多次选取等问题进行改进的基础上,提出了基于粗糙集的多变量决策树算法VPMDT.通过与ID3、HACRs、RSH2和C4.5等算法进行的实验比较表明,VPMDT有较好的时空性能,并保持较高的分类预测正确率.