基于互信息的模糊决策树及其增量学习

将互信息引进模糊决策树,用于确定决策树的候选分类属性,进而构建模糊决策树.通过增量学习来修正决策树分类模型,以修正分类效果,并用实验验证了该方法的有效性.     

一种可用于分类型属性数据的多变量决策树算法

针对绝大部分多变量决策树只能联合数值型属性,而不能直接为带有分类型属性数据集进行分类的问题,提出一种可联合多种类型属性的多变量决策树算法(CMDT).该算法通过统计各个分类型属性的属性值在各个类别或各个簇中的频率分布,来定义样本集合在分类型属性上的中心,以及样本到中心的距离.然后,使用加权k-means算法划分决策树中的非终端结点.使用这种结点划分方法构建的决策树可用于数值型数据、分类型数据以及混合型数据.实验结果表明,该算法建立的分类模型在各种类型的数据集上均获得比经典决策树算法更好的泛化正确率和更简洁的树结构.     

多种属性选取标准“多数表决”优化决策树研究

测试属性的选取即属性选择标准是构建决策树的关键及核心,对于同样的数据集,不同的属性选取标准构建的决策树有可能差别很大。对于不知采用何种属性选择标准或者没有一种标准适合所处理的数据集,本文提出了一种解决的方法,即多种属性选取标准多数表决优化决策树算法,该算法利用"专家会诊"的思想,构建决策树,具有更广的适应性和更可能高的准确率。     

基于知识粗糙度的多变量决策树的构建

提出了一种基于粗糙集中知识粗糙度的构建多变量决策树的算法.基本思想是,在选择了核属性作为决策树的根节点后,将选择知识粗糙度最小的那个条件属性作为下一个分枝结点的检验属性.     

数据挖掘中的属性选择偏差抑制算法研究简

决策树算法广泛应用于数据挖掘领域之中.属性选择是决策树方法挖掘效率的关键,但ID3方法和C4.5方法在选择属性时,都会产生一定程度的选择偏差.据此,该文对信息增益模型进行了改进,将多次对数运算的信息熵求取过程简化为多值求和,从而规避了属性选择出现偏差的可能性,也加快了决策树构建的执行速度.依托学生情况数据展开的实验研究表明,与经典的ID3方法相比,该文方法构建的决策树更加简洁.同时,随着数据样本数量的增大,该文方法的执行时间大为降低.     

基于非线性拟合方程的多变量决策树算法

根据数据属性间存在的线性相关和非线性相关影响决策树性能的特点,提出了一种用拟合回归建立决策树的算法,并利用这种相关性来提高分类能力.该算法选择了一个较优的属性子集,对此子集中的属性进行加权组合,用于构造决策树的节点,采用二次多项式来拟合两个属性间可能存在的相关性,从而构造出分类能力更强的决策树.研究中用UCI标准数据集对各种算法进行测试及比较,实验结果及分析表明此决策树算法具有良好性能.     

基于关联度的代价敏感决策树生成方法

针对常用决策树生成方法中存在的缺点,通过引用属性关联度和代价敏感学习,利用粗糙集理论对条件属性进行约减。在构建决策树过程中,把属性的关联程度和性价比作为选择分裂结点的依据,利用改进的信息增益构建代价敏感决策树。试验结果表明,该方法在分类准确度和生成决策的结点总量上比常用决策树生成方法优越。     

非相容表决策树构建算法

针对非相容表构建决策树中属性约简计算复杂度较高的问题,基于粗糙集分辨关系和粒计算理论,建立一种对相容表和非相容表通用的构建决策树算法。该算法首先根据非相容表的逻辑关系式证明其可经过变量替代等价于相容表;然后根据等价表的特点,以属性粒为基本单位,用属性粒的可分辨量、属性粒相对于决策属性的类别数量、决策表中相同行的数量这3个基本参数确定属性的优劣,并以最优属性为划分属性自上向下直接构建决策树。实例分析结果表明,应用该算法构建决策树具有简洁、有效性。     

基于关联度和代价敏感学习的决策树生成法

针对ID3决策树生成法中存在的缺点,通过引用属性关联度和代价敏感学习,提出了一种基于属性关联度和代价敏感学习的决策树生成法。该方法利用粗糙集理论对条件属性进行约减,在构建决策树过程中,把属性的关联程度和性价比作为选择分裂结点的依据,利用改进的信息增益方法构建代价敏感决策树。试验结果表明,该方法在分类准确度和生结点总数量上比常用决策树生成方法优越。     

基于Rough Sets-C4.5的故障征兆提取与判别

针对原始信息系统往往存在大量重复样本和冗余属性,从而影响实际故障诊断的精度和速度这一问题,介绍了一种基于粗糙集和决策树C4.5算法相融合的故障诊断模型,用于设备的精确和快速故障诊断.利用粗糙集具有较强的处理不确定和不完备信息的能力,对原始样本集进行离散化及约简处理;同时,利用决策树C4.5算法对约简后的决策表进行快速学习并形成树状故障分类器.以实例介绍了利用该模型进行故障诊断的完整过程.