粗糙模糊决策树归纳算法

模糊ID3算法处理的对象是具有模糊条件属性和模糊决策属性的模糊决策表,它利用平均模糊分类熵作为启发式选择扩展属性,利用模糊置信度作为叶子结点的终止条件.当用模糊ID3算法处理连续值和离散值决策表时,需要对连续值或离散值条件属性进行模糊化.模糊化的关键是模糊测度的确定,但确定合适的模糊测度非常困难,而且模糊化会损失有用的信息.针对这些问题,基于粗糙模糊集技术,提出了一种模糊决策树归纳算法,称为粗糙模糊决策树(RFDT:Rough Fuzzy Decision Tree).RFDT可直接处理离散值模糊决策表,归纳模糊决策树,不需要模糊化的过程.和模糊ID3算法类似,RFDT也分为三步:(1)利用粗糙模糊依赖度作为启发式选择扩展属性;(2)用选择的扩展属性划分样例集合;(3)如果划分的样例集合满足终止条件,则算法终止;否则递归地重复步骤(1)和(2).提出的算法用Kosko模糊熵作为叶子结点的终止条件,并通过一个例子说明了模糊决策树的归纳过程.     

一种改进的决策树算法

为解决决策树算法ID3的多值偏向的缺点,利用属性相似度偏向少值属性的特点,提出一种将属性相似度作为信息熵的系数的属性选择标准,从而提出相应的决策树生成算法.实验结果表明,新算法既避免了以信息熵作为属性选择标准的决策树算法的多值偏向,也避免了以属性相似度作为属性选择标准的决策树算法的少值偏向.     

基于粗糙集的RDT决策树生成算法的研究及应用

介绍了一种基于粗糙集理论的决策树生成算法--RDT(Rought Set Decision Tree).该方法运用了粗糙集理论中条件属性相对于决策属性的核,引入启发式条件计算并选择条件属性作为决策树的根结点或子结点.通过一个例子,与运用信息熵概念建立决策树的算法进行比较,结果表明采用RDT方法得到的决策树优于采用信息熵方法得到的决策树.还讨论了RDT与ID3算法对决策树精度和规模的影响,分析数据分类和知识发现的过程及特点.     

基于属性间交互信息的模糊ID3算法的扩展

模糊ID3算法是模糊决策树归纳中比较普遍和有效的启发式算法．以模糊ID3算法为例,分析了属性之间的冗余信息对构建模糊决策树的影响,并提出一个扩展算法,要求所选择的测试属性不仅和类的交互信息较大,而且和祖先节点上用过的属性之间的交互信息较小．实验结果表明：扩展算法优于模糊ID3算法     

决策树C4.5连续属性分割阈值算法改进及其应用

结合Fayyad边界点原理提出一种新的连续值属性最佳分割阈值的选择算法.根据Fayyad连续值属性的最佳分割点总在边界点处的原理,只在连续属性分界点处的少数几个分割点中选择最佳分割阈值.构造并训练了改进C4.5分类器,将其应用于视频序列中的人车目标识别.实验结果表明:改进C4.5算法的计算量减少近20％,大大提高了决策树的生成效率,分类准确率也略有提高.     

基于属性间交互信息的预剪枝ID3算法

ID3算法是决策树归纳中普遍而有效的启发式算法.本文针对ID3算法的不足,给出了一个改进版本,它在选择测试属性时不仅要求该属性和类的交互信息较大,而且要求和祖先结点使用过的属性之间的交互性息尽可能小,从而避免了对冗余属性的选择,实现信息熵的真正减少.在生成树的过程中,设定分类阈值,对树进行剪枝,以避免数据子集过小,使进一步划分失去统计意义.实验结果表明,该算法能构造出比ID3算法更优的决策树.     

单边三角形模糊数属性决策树学习算法

通过定义单边三角形模糊数空间上的一种全序关系,提出了属性取值为单边三角形模糊数的决策树学习算法.作为ID3算法在单边三角形模糊数意义下的推广,算法通过一种分割信息熵的极小化来选取扩展属性.通过非平稳割点的分析,减少了分割信息的计算次数,使算法的效率得到了提高.     

模糊决策树归纳算法及应用

使用分类信息熵极小化启发式，对分类问题中属性值为模糊集时，提出了直接用隶属度作为连续值变元来产生决策树的算法，将该算法应用于大型旋转机械振动故障诊断的规则提取上，经实践检验，所提学习算法合理。     

一种面向大数据分析的快速并行决策树算法

为了提高基于大规模数据的决策树训练效率,提出了一种基于Spark平台的并行决策树算法(SPDT).首先,采用数据按列分区的方法,把单个属性列完整地保留在一个分区内,使缓存该分区数据的数据节点能独立完成信息熵的计算,以减少数据节点之间的信息交流造成的网络资源的占用.然后,数据在按列分区后以稠密向量的形式缓存于内存中,SPDT对数据进行压缩,以减少对内存的占用.最后,SPDT采用基于边界点类别判定的连续属性离散化方法来处理连续属性,减少决策树训练过程中信息熵计算的频次,并提出使用信息增益比划分训练数据集的方法,以减少信息增益计算对多属性值属性的依赖.实验结果表明,在树的训练效率方面,SPDT在保持分类精度的情况下,比Apache Spark-MLlib决策树算法(MLDT)以及基于Spark平台的垂直划分决策树算法(Yggdrasil)有明显的提升.     

变精度粗糙集下基于信息熵的属性约简算法

本文针对在Z．Pawlak粗糙集下进行属性约简中存在的问题,在对变精度粗糙集理论下卢下近似约简概念分析的基础上,引入了信息熵,建立了变精度粗糙集意义下的决策表中属性重要性的度量方式,区分了β阈值界定下的“弱不一致信息”与“强不一致信息”的不确定程度,从而刻画了标准粗糙集下正域之外的不一致信息的不确定程度,以该度量作为启发式信息,提出了基于信息熵的β下近似约简的启发式算法．这为不一致信息系统的属性约简提供了理论依据与算法．     

一种基于互信息的粗糙集知识约简算法

针对粗糙集理论核心内容之一的知识约简问题,该文提出了一种改进的互信息的属性约简算法。该算法结合信息论中信息熵与互信息的概念定义了粗糙集里的一种新的属性重要度,并以此属性重要度为启发式信息进行属性约简。实验分析表明:在大多数情况下,该种算法都能够得到决策表的最小约简。     

对象导出三支概念格的熵属性约简

将信息熵引入形式背景中,研究对象导出三支概念格的熵属性约简. 首先,定义对象导出三支概念格的信息熵、条件熵和互信息等概念;其次,根据属性在约简过程中的重要性探讨核心属性和非核心属性的熵判定条件,并得出对象导出三支概念格的熵协调集等价于OEG协调集(对象导出三支概念格的粒协调集),对象导出三支概念格的熵约简集等价于OEG约简集;最后,给出决策形式背景中对象导出三支概念格的熵协调和熵约简等概念,并给出启发式熵约简的方法.     

基于粗糙集理论的决策树构造算法

应用粗糙集理论，提出了一种利用新的启发式函数构造决策树的方法。该方法以属性重要性评价指标作为信息熵函数，对务件属性进行选择，充分考虑了属性间的依赖性和冗余性，弥补了ID3算法对属性间依赖性强调不够的缺点，解决了决策树中子树的重复和有些属性在同一决策树上被多次选择的问题，该方法还能对不相容决策表进行正确分类。实例表明该方法是正确有效的，而且明显优于传统的决策树构造方法。     

一种新的基于决策熵的决策表约简方法

分析了在知识约简过程中经典粗糙集理论决策表知识约简方法的不足.以知识粗糙熵为基础,将一致和不一致对象分开,提出决策熵的概念及其属性重要性,在此基础上给出约简的判定定理;然后以条件属性子集的决策熵来度量其对决策分类的重要性,提出一种新的知识约简启发式方法.理论分析和实验结果表明,基于决策熵的属性重要性是一种更有效的启发式信息,该方法时间复杂度较低,有助于搜索最小或次优约简.     

Induction of hybrid decision tree based on post-discretization strategy

By redefining test selection measure, we propose in this paper a new algorithm, Flexible NBTree, which induces a hybrid of decision tree and Naive Bayes. Flexible NBTree mitigates the negative effect of information loss on test selection by applying postdiscretization strategy: at each internal node in the tree, we first select the test which is the most useful for improving classification accuracy, then apply discretization of continuous tests. The finial decision tree nodes contain univariate splits as regular decision trees, but the leaves contain Naive Bayesian classifiers. To evaluate the performance of Flexible NBTree, we compare it with NBTree and C4.5, both applying pre-discretization of continuous attributes. Experimental results on a variety of natural domains indicate that the classification accuracy of Flexible NBTree is substantially improved.     

一种新的基于决策熵的决策表约简方法

分析了在知识约简过程中经典粗糙集理论决策表知识约简方法的不足。以知识粗糙熵为基础,将一致和不一致对象分开,提出决策熵的概念及其属性重要性,在此基础上给出约简的判定定理;然后以条件属性子集的决策熵来度量其对决策分类的重要性,提出一种新的知识约简启发式方法。理论分析和实验结果表明,基于决策熵的属性重要性是一种更有效的启发式信息,该方法时间复杂度较低,有助于搜索最小或次优约简。