改进ID3决策树算法——SS_ID3算法

从分析ID3决策树算法及解析入手,引入属性样本结构相似度概念,构建了样本结构相似度模型,并以该模型和属性的信息增益共同作为决策树内部结点的选择标准。改进SS_ID3决策树算法,着眼于决策树非叶结点的选择标准的优化,继承了原始ID3决策树算法的优点,并在多值偏向性的修正、决策树的大小控制及分类预测性能等方面取得了积极的改进。     

一种改进的决策树算法

为解决决策树算法ID3的多值偏向的缺点,利用属性相似度偏向少值属性的特点,提出一种将属性相似度作为信息熵的系数的属性选择标准,从而提出相应的决策树生成算法.实验结果表明,新算法既避免了以信息熵作为属性选择标准的决策树算法的多值偏向,也避免了以属性相似度作为属性选择标准的决策树算法的少值偏向.     

基于单纯历史负荷数据的短期负荷预测的探讨

短期负荷预测是电力系统最常用和最重要的预测类型。本文抛开天气因素、生产水平等相关因素,单纯从历史负荷数据出发进行了短期负荷预测算法的讨论。本文引入相似日的概念,通过确定相似度来选取合理的相似日。利用相似日的历史数据通过有效的算法可以计算出预测目的值,本文介绍了线性外推法、变化系数法和加权平均法。最后用一个应用实例说明了以上讨论算法的合理性。     

基于属性相似度的决策树生成算法

为寻找最优决策树,对决策树生成方法进行了研究,提出了属性相似度的计算方法,引入了属性相似度,对测试属性进行约简.在此基础上,提出了以属性相似度为启发规则的决策树生成算法.该方法预测精度高,计算简便.     

基于用户领域知识优化ID3算法的研究与应用

本文在ID3算法的基础上引入属性重要度因子和均衡化函数,对ID3算法进行优化,改进了经典ID3算法要求每个属性对类别属性的贡献一样的缺点,可以适用于不同属性对类别属性的贡献不同的情况,同时也弥补ID3算法偏向多值属性的不足。最后给出具体一个实例说明其构造决策树的过程,并将优化算法与经典ID3算法构造的决策树进行了比较,从而得出优化后的算法具有更大的适应范围,且更符合用户实际情况的需要。     

基于粗集论中属性依赖度的ID3改进算法

决策树算法是一种重要的数据挖掘方法,ID3算法是最具影响的一种决策树生成算法。介绍了粗集理论的相关概念和传统的ID3算法基本原理,提出了一种以粗集论中的属性依赖度为基础的ID3改进算法,克服了传统ID3算法对取值较多属性的依赖,并通过实例验证该算法的高效性和精确性。改进算法对不同领域中分类预测方向上的数据挖掘均具有一定的参考价值。     

ID3算法在教学评估体系中的应用与改进

决策树是一种类似于流程图的属性结构。决策树算法主要用于分类和预测,是以样本为基础的归纳学习方法。决策树技术中的算法有很多,常用的是Quinlan于1979年提出的ID3算法。ID3算法相对于其它数据挖掘分类技术中的算法而言,有着自己的优势,但在实际应用中也有一些不足,需要进行改进。     

基于决策属性挑选策略的改进的决策树算法

首先介绍了决策树算法的基本理论和建模过程及传统的决策属性的选取标准。然后介绍了传统的ID3决策树算法,并对常用决策树算法的优缺点进行了总结。以经典的决策树ID3模型为基础,对已有决策属性挑选策略进行了分析和总结,对决策属性挑选策略进行了改进,提出了基于"相关信息增益度"的决策属性挑选策略。该方法基于信息增益的计算标准,并通过引入属性间相关性关系对传统ID3算法"多值偏向性"的缺陷进行补偿。最后,将该方法应用于UCI数据中心的标准数据集合中,从分类精确度方面对改进的ID3算法和传统ID3算法进行比较和分析。通过实验分析,改进的E-ID3算法在分类精确度方面有更优秀的性能表现。     

基于属性间交互信息的预剪枝ID3算法

ID3算法是决策树归纳中普遍而有效的启发式算法.本文针对ID3算法的不足,给出了一个改进版本,它在选择测试属性时不仅要求该属性和类的交互信息较大,而且要求和祖先结点使用过的属性之间的交互性息尽可能小,从而避免了对冗余属性的选择,实现信息熵的真正减少.在生成树的过程中,设定分类阈值,对树进行剪枝,以避免数据子集过小,使进一步划分失去统计意义.实验结果表明,该算法能构造出比ID3算法更优的决策树.     

基于属性-值对的信息增益优化算法

偏向于取值较多的属性是ID3算法的一个缺陷,目前已提出的决策树的优化算法对ID3算法的改进,部分解决了该缺陷,但仅适用于两值属性的样例集,对于多值属性效果并不明显.针对该优化算法的不足,通过将属性和属性值对应成一个属性,提出了属性-值对的信息增益优化算法GBT.通过理论和实验分析,表明该算法不仅克服了ID3算法偏向于取值多属性的缺陷,同时解决了优化算法对多值属性效果不明显的不足.