基于Rough集的决策树算法

针对基于Rough集的经典分类算法值约简算法等不适合大数据集的问题，提出了基于Rough集的决策树算法。采用一个新的选择属性的测度——属性分类粗糙度作为选择属性的启发式，该测度较Rough中刻画属性相关性的测度正区域等更为全面地刻画了属性分类综合贡献能力，并且比信息增益和信息增益率的计算更为简单。采取了一种新的剪枝方法——预剪枝，即在选择属性计算前基于变精度正区域修正属性对数据的初始划分模式，以更有效地消除噪音数据对选择属性和生成叶节点的影响．采取了一种与决策树算法高度融合的简单有效的检测和处理不相容数据的方法，从而使算法对相容和不相容数据都能进行有效处理。对UCI机器学习数据库中几个数据集的挖掘结果表明，该算法生成的决策树较ID3算法小，与用信息增益率作为启发式的决策树算法生成的决策树规模相当。算法生成所有叶节点均满足给定最小置信度和支持度的决策树或分类规则，并易于利用数据库技术实现，适合大数据集。     

一种多标准决策树剪枝方法及其在入侵检测中的应用

为提高决策树的适用性,以决策树在入侵检测中的应用为背景提出一种多标准的剪枝方法,使决策树程序能在参数调整后适应不同的应用. 给出了用于描述决策树不同性能的一些参量,如稳定性、复杂度、分类能力等,用户可以根据具体情况对向量各分量的权重进行调整,逐步得到满足要求的决策树. 实验结果表明,该算法能够根据入侵检测系统的具体需要,快速地构建相应的决策树,从而程序可被用于不同情况. 该方法把由程序员决定决策树变成了由用户决定决策树,程序更通用,结果更合理.     

基于平衡准确率和规模的决策树剪枝算法

决策树剪枝是决策树分类学习中的重要步骤,可降低决策树复杂程度和提高决策树泛化能力,从而提高决策树识别精度和效率。通过利用系数函数综合决策树的错误率和规模,形成决策树剪枝标准,在系数函数的参数合适选取,采用自底向上遍历过程逐一进行判断剪枝。实验结果表明,综合考虑决策树的分类预测准确率和决策树的规模大小,BASP剪枝算法能够获得更好的剪枝效果。     

基于属性间交互信息的预剪枝ID3算法

ID3算法是决策树归纳中普遍而有效的启发式算法.本文针对ID3算法的不足,给出了一个改进版本,它在选择测试属性时不仅要求该属性和类的交互信息较大,而且要求和祖先结点使用过的属性之间的交互性息尽可能小,从而避免了对冗余属性的选择,实现信息熵的真正减少.在生成树的过程中,设定分类阈值,对树进行剪枝,以避免数据子集过小,使进一步划分失去统计意义.实验结果表明,该算法能构造出比ID3算法更优的决策树.     

一种改进的基于粗糙集理论的决策树分类算法

提出一种基于粗糙集理论的决策树分类算法.首先,将核属性集中的核属性进行合取后加入析取变换,实现属性约简;其次,在决策树构造阶段,对各条件属性分别求其上下近似集,进而得到各属性的近似精度.选择近似精度最大的属性作为决策树的根结点,以此方法递归应用到各子树上来选择决策树的结点并实现决策树的剪枝.实例分析表明,改进的算法提高了决策树方法的效率.     

基于改进决策树的入侵检测算法

本文对经典的基于信息增益的决策树算法进行改进,提出一种基于决策树与属性相关性相结合的入侵检测算法。该算法同时结合综合策略的剪枝算法以避免过度拟合对检测结果的影响。实验结果证明,本算法不仅在面对已知攻击时能够做出良好的判断,而且在面对未知攻击时仍然具有一定的检测能力,具有良好的性能和可用性。     

基于改进ID3算法的决策树构建

介绍了决策树算法的基本原理,指出在决策树构建的过程中,ID3（Interative Dichotomic Version3）算法按照信息增益最大的原则选取属性,公式比较复杂,相应计算的复杂度也比较高,耗费较多的硬件资源．相对于ID3算法而言,条件概率决策树算法按照条件概率最大的原则选取属性,条件概率能够把属性和类别联系在一起,公式比较简单,有效地降低了计算的复杂性,并且决策树的建立提高了系统的精确度和检测速度．     

WEKA中的Id3决策树算法

ID3算法是决策树学习归纳和数据挖掘中的核心方法。本文对ID3算法及其在WEKA中的实现进行了阐述,给出了使用剪枝阈值对决策树进行先剪枝的方法,最后通过实例对该方法的有效性进行了验证。     

应用分类贡献函数的决策树构造方法

在构造决策树的过程中,分类属性选择的标准直接影响分类的效果。本文基于粗糙集的理论,提出了在核中应用分类贡献函数来选择分类属性的新方法。利用UCI提供的数据集对该算法和基于信息熵的算法C4.5,以及基于加权平均粗糙度的决策树生成算法相比较。实验证明:用该方法构造的决策树与传统的基于信息熵方法构造的决策树相比较,复杂性低,且能有效提高分类效果。     

以相关性确定条件属性的概化决策树

在介绍了一些典型决策树分类算法的基础上,研究了一种基于相关性分析的决策树分类器。其主要思想是通过属性相关性来压缩训练集的大小并在建立决策树过程中采用此度量值来确定划分条件属性的顺序,通过阈值设定和处理简化了决策树的剪枝和优化过程,提高了处理的效率和规模。文章详细描述了算法的执行过程以及正确性证明和时间复杂性分析。     

一种新的简化ID3决策树的算法

决策树简化是决策树学习算法中的一个重要分支。文章以 ID3算法构造的决策树为基础 ,提出了一种高效的简化决策树的算法。算法先序遍历由 ID3构造出来的决策树的各个节点并对其子树进行比较 ,如果各子树的属性都相同而且存在某些相应的分支对于各子树完全相同 ,则改变决策树中相应属性的层次关系并把相同的分支分别合并起来。算法减少了决策树的深度、宽度与叶子数目 ,降低了决策树的规模。尤其对于逻辑表达式的归纳学习 ,简化之后的决策树要明显优于原决策树。     

基于统计学法则的连续属性值划分方法

目前决策树中很多分类算法例如ID3/C4.5/C5.0等都依赖于离散的属性值,并且希望将它们的值域划分到一个有限区间。利用统计学法则,提出一种新的连续属性值的划分方法;该方法通过统计学法则来发现精准的合并区间。另外在此基础上,为提高决策树算法分类学习性能,提出一种启发式的划分算法来获得理想的划分结果.在UCI真实数据集上进行仿真实验.结果表明获得了一个比较高的分类学习精度、与常见的划分算法比较起来有很好的分类学习能力。     

基于模糊度的决策树生成算法

在处理不确定问题中,生成模糊决策树是一种常用的方法.其算法主要包含2个步骤,一个是树的生成条件,主要是确定扩展属性的选择标准,并以此为核心得到生成模糊决策树的启发式算法.另一个则是树的终止条件,否则会造成树的过度拟合的情况.目前,典型的算法中通常利用粗糙模糊依赖度作为选择扩展属性的依据,但是这个依赖函数不具备单调性,从而导致算法有不收敛的可能,基于这个问题,给出了模糊度的定义,重新定义了模糊依赖度和模糊粗糙度,选择模糊依赖度最大的条件属性作为根结点;然后,使用模糊粗糙度作为叶子结点的终止条件;最后,通过实例说明了整个模糊决策树的归纳过程.     

基于粗集的混合变量决策树构造算法研究

文章提出混合变量决策树结构,并在此基础上提出基于粗集理论的混合变量决策树构造算法RSH2,算法在每个结点选择尽可能少的属性明确划分尽可能多的实例,减小了决策树规模,且易于理解。将RSH2算法与ID3算法及基于粗集的单变量决策树算法HACRs进行实验比较,结果表明该算法有良好性能。     

决策树的剪枝策略研究

主要研究决策树的修剪策略.着重对决策树需要修剪的原因、发展过程、修剪算法的分类以及修剪过程中注意事项、修剪程度的控制等进行了探讨.     

利用决策树发掘分类规则的算法研究

主要介绍决策树方法,回顾利用决策树发掘分类规则的各种方法,并对算法进行评价,最后提出了一个利用决策树分类技术进行月降雨预报的算法。     

数据挖掘在高职院校就业指导中的应用研究

提高就业率是以培养应用型人才为宗旨的高职院校重要目标.将C45算法应用于就业信息统计分析中,通过对就业数据预处理、就业决策树的构建和剪枝,从其抽取分类规则,并指出决定就业单位类别的决策属性,得到一些较实用的预测毕业生就业动态的规律,从而更好地服务于学生就业指导工作.     

一种新的模糊决策树模型及其应用

模糊决策树是决策树在模糊环境下的一种推广,虽然其表示形式更符合人类的思维，但在构造时会增加预处理的工作量和创建树时的开销。基于这种情况，提出了一种混合算法，算法保留了较少属性值的Shannon熵，计算多属性和连续属性值模糊化后的模糊熵。将该算法应用于滑坡数据的挖掘中，得到了更易于理解的决策树和有效的规则，与传统算法的性能比较也证明了该算法的有效性。