数据分类中决策树算法的一些改进

分类是数据挖掘中重要的研究课题.决策树方法是一种常用的分类算法,所建立的树型结构模型很直观,易于理解.传统的分类方法在处理海量数据时会出现性能下降或精度降低的问题,经过改进的ID3算法,基于SPRINT,消除了内存的限制,运算速度快,具有可伸缩性,性能较好.     

基于Hadoop平台的SPRINT算法的分析与研究

传统的决策树算法在单机平台上处理海量数据挖掘时,容易受到计算能力和存储能力的限制,所以存在耗时过长、容错性差、存储量小的缺点.而拥有高可靠性和高容错性的Hadoop平台的出现为决策树算法的并行化提供了新的思路.本文设计和实现了一种基于Hadoop平台的并行SPRINT分类算法.实验结果表明:基于Hadoop平台的SPRINT分类算法比没有进行并行化的SPRINT算法具有较好的分类正确率、较低的时间复杂度和较好的并行性能,并且能明显提高算法求最佳分裂点时的执行速度.     

基于MR的并行决策树分类算法的设计与实现

决策树分类方法是实现数据挖掘中分类任务的一种有效方法,但在大规模测试数据集上运行时其实现性能受到严重影响.本文设计和实现一种基于MapReduce架构的并行决策树分类算法.实验结果表明:基于MapReduce的决策树分类算法比同类算法在其他并行编程模型下的实现在计算节点较多的情况下能得到更优的性能.     

基于层次标签数据的模糊决策树构造算法

决策树分类算法在数据挖掘领域是一种高效且应用普遍的分类算法.传统的决策树算法难以处理数据中存在的模糊性等不确定性信息,模糊决策树作为经典决策树在模糊集理论上的扩展,可有效克服这一缺陷.然而,现有的模糊决策树算法在处理具有层次结构的标签数据时,一般选取层次结构的某一层标签去分类数据,导致当分类准确率高时,标签不具体;标签...     

大数据环境下决策树的研究

传统决策树在中小型数据集的预测分类上表现优秀,但在大数据集的处理上仍然存在效率低下、准确率较低等问题.为了适应大数据集环境,国内外学术界和工业界提出了将决策树与分布式处理平台相结合的分布式决策树算法,面向大数据处理的Hadoop和Spark分布式计算系统的出现,为研究分布式决策树算法提供了新的契机.为此,面向以基于大数据系统的分布式决策树算法为研究对象,从决策树基础算法、大数据平台的分布式并行机制和大数据平台下分布式决策树实现的三个方面进行剖析,以呈现Hadoop和Spark平台下的分布式决策树算法当前研究现状,并分析未来分布式决策树的研究方向.     

决策树C4.5算法在森林资源二类调查中的应用

C4.5算法是基于信息熵理论进行数据分类分析的经典决策树数据挖掘算法.它主要包括数据预处理、决策树生成、决策树修剪、决策树规则提取等步骤.笔者将C4.5算法应用于森林资源二类调查的数据分析中,通过对调查数据挖掘分析表明,数据挖掘在森林资源调查数据分析中具有广泛的应用前景.     

海量数据处理过程中数据挖掘算法的应用

信息时代的快速发展带来的是信息总量呈现几何级数的增加,而海量数据的存储和分析处理对计算机硬件能力和数据分析能力都是一个极大的挑战．数据挖掘算法是针对于大批量数据处理而提出并逐步发展起来的,基于完备的数据库技术,可以在云计算算法、矩阵压缩算法和并行关联算法的基础上,进行算法集成,能进一步提高数据挖掘的速度、精度和时效性,在实际海量数据的处理过程中有较好的适应性,为海量数据处理提供了新的技术分析方法．     

基于CMAR分类算法的实现

数据挖掘的目标是在海量数据集中寻找和分析某些内涵信息,其数据分析的方法对结果集有很大的影响. 通过改进决策树算法的数据结构,产生分类关联规则并进行规则剪枝,实现了决策树的CMAR(Accurate and Efficient Classification Based on Multiple Class-Association Rules)生成算法;实验表明CMAR算法具有快速和精确度高的优点,具有一定的应用前景.     

数据流决策树分类方法综述

数据流的特征是海量的、高速流动的、实时处理的.由于一些数据分布随着时间而改变,因此将这些数据流称为概念漂移.首先按照分类模型对数据流决策树进行分类,分为单分类决策树和集成分类决策树.单分类模型分为快速决策树、变异决策树和其他决策树算法.集成分类模型分为衍生快速决策树和随机决策树变体算法.其次介绍了概念漂移处理技术,包括概念漂移问题的描述、常见的概念漂移处理技术和用于解决概念漂移的决策树算法.接着介绍了增量模型决策树算法,最后对本文介绍的决策树算法进行分析总结.     

基于决策树的流数据分类算法综述

流数据是一种有别于传统静态数据的新的数据形态,随着时间的推移而不断产生,而且富含变化.流数据分类是数据挖掘的研究分支,用于发现数据中隐含的模式并实现数据的类别划分,通常将每一个类别称作概念.将传统决策树算法引入流数据分类,针对流数据的特征提出特定的分类算法,是流数据分类的一个主要研究分支.为了全面介绍基于决策树的流数据分类算法,首先,简要概述数据挖掘及主要任务、决策树及其主要算法、流数据及其主要特性;然后,按照算法是否考虑概念漂移问题,将现有工作划分为包含概念漂移的流数据分类算法和不含概念漂移的流数据分类算法两大类,分别介绍每一类算法的主要算法流程、优缺点和典型应用;最后,指出基于决策树的流数据分类的进一步研究方向.     

利用决策树发掘分类规则的算法研究

主要介绍决策树方法,回顾利用决策树发掘分类规则的各种方法,并对算法进行评价,最后提出了一个利用决策树分类技术进行月降雨预报的算法。     

决策树算法在医学图像数据挖掘中的应用

目的研究决策树算法在医学图像数据挖掘中的应用。方法利用决策树算法对乳腺癌图像数据进行分类，提出了一个基于决策树算法的医学图像分类器。结果实现了ID3和C4．5算法对图像数据的分类，获得了分类的实验结果。结论该模型系统达到了较高的分类准确率，证明数据挖掘在辅助医疗诊断中有着广泛的应用前景。     

一种改进ID3型决策树挖掘算法

分析经典ID3型决策树挖掘算法中存在的问题,对其熵值计算过程进行改进,构建一种改进的ID3型决策树挖掘算法.重新设计决策树构建中的熵值计算过程,以获得具有全局最优的挖掘结果,并针对UCI数据集中的6类数据集展开挖掘实验.结果表明:改进后的挖掘算法在决策树构建的简洁程度和挖掘精度上,都明显优于ID3型决策树挖掘算法.     

决策树分类算法的分析和比较

在数据挖掘中存在多种算法,决策树分类算法是应用比较多的一种。基于决策树分类算法的研究现状,对各种决策树分类算法的基本思想进行了阐述,并对不同的算法进行了分析和比较。     

基于主从模式的并行决策树算法研究

针对对等模式下并行决策树分类算法的通信开销太大,提出了一种基于主从模式的FPM_DT并行决策树挖掘算法,此算法综合使用了横向与纵向的数据划分模型,并采用根据分支数据分布情况进行结点分组的策略.实验结果表明,它与对等模式下并行SPRINT分类算法相比,降低了通信开销,具有更好的可扩展性与加速比性能.     

基于Rough集的决策树算法

针对基于Rough集的经典分类算法值约简算法等不适合大数据集的问题，提出了基于Rough集的决策树算法。采用一个新的选择属性的测度——属性分类粗糙度作为选择属性的启发式，该测度较Rough中刻画属性相关性的测度正区域等更为全面地刻画了属性分类综合贡献能力，并且比信息增益和信息增益率的计算更为简单。采取了一种新的剪枝方法——预剪枝，即在选择属性计算前基于变精度正区域修正属性对数据的初始划分模式，以更有效地消除噪音数据对选择属性和生成叶节点的影响．采取了一种与决策树算法高度融合的简单有效的检测和处理不相容数据的方法，从而使算法对相容和不相容数据都能进行有效处理。对UCI机器学习数据库中几个数据集的挖掘结果表明，该算法生成的决策树较ID3算法小，与用信息增益率作为启发式的决策树算法生成的决策树规模相当。算法生成所有叶节点均满足给定最小置信度和支持度的决策树或分类规则，并易于利用数据库技术实现，适合大数据集。     

决策树挖掘技术在手术诊断上的应用研究

在解决分类问题的各种方法中,决策树是比较常用的一种方法。基于决策树理论,在 ID3算法基础上提出基于悲观错误剪枝的后剪枝算法,并将其运用于医疗系统手术诊断的数据挖掘分析过程中,所得实验结果与专家诊断结果基本吻合,取得了较好的实际应用效果。     

一种基于粗糙集的决策树构造方法

决策树是一种有效的数据分类方法。传统的决策树方法是通过信息熵的计算去生成决策树的节点,计算量大。基于粗糙集理论,利用近似精度的概念来进行属性选择,构造决策树,有效地提高了效率并降低了决策树的复杂度。     

一种分类挖掘算法及其应用

提出一种增量式混合型分类挖掘算法,将基于概率论的符号学习与神经网络学习相结合,能够对既包含离散属性又包含连续属性的多个概念进行有效的分类处理,且具有较强的增量挖掘能力。该算法在法院决策支持系统中得到了运用,取得了较好的效果。     

决策树在数据挖掘中的应用研究

本文介绍了基于决策树的分类方法、基于决策树的知识发现的一般概念及决策树在数据挖掘中的应用。重点介绍了基于ID3算法的决策树生成方法,分析其用于数据分类和知识发现的过程及特点。