基于属性重要度的多变量决策树构造方法

文章提出了一种基于属性重要度的多变量决策树的构造算法。基本思想是将等价关系相对泛化的概念用于多变量检验的构造,在单变量结点的构造时,算法倾向选择属性重要度最大的条件属性作为检验属性。实验表明,该算法具有良好的性能,不仅有效降低了树的高度,而且还兼顾了分类的可读性,是效率较高的决策树生成方法。     

基于多变量决策树的不完备信息系统规则提取研究

不完备信息系统也有很多有用信息，可以得出支持决策的确定规则。基于决策树的完备信息系统规则提取方法很多，如比较有影响的ID3算法等，但是在不完备信息系统中应用决策树进行规则提取的方法还不是很多。本文提出用多变量决策树方法对不完备信息系统进行规则提取的方法，可以得出部分确定信息，方法简单易行。     

基于决策类划分新型多变量决策树算法实例分析

利用"基于决策类划分的新型多变量决策树算法"中的五大步骤,以"气象信息系统表"为实例构造多变量决策树,取得的结果与著名的单变量决策树(ID3)方法和粗糙集多变量决策树方法所获得的结果相同,证明本算法有效。其决策树构造过程简单,易于理解。通过时间复杂度的比较,证明本算法优于粗糙集算法速度更优和ID3算法。     

基于粗集的混合变量决策树构造算法研究

文章提出混合变量决策树结构,并在此基础上提出基于粗集理论的混合变量决策树构造算法RSH2,算法在每个结点选择尽可能少的属性明确划分尽可能多的实例,减小了决策树规模,且易于理解。将RSH2算法与ID3算法及基于粗集的单变量决策树算法HACRs进行实验比较,结果表明该算法有良好性能。     

一种可用于分类型属性数据的多变量决策树算法

针对绝大部分多变量决策树只能联合数值型属性,而不能直接为带有分类型属性数据集进行分类的问题,提出一种可联合多种类型属性的多变量决策树算法(CMDT).该算法通过统计各个分类型属性的属性值在各个类别或各个簇中的频率分布,来定义样本集合在分类型属性上的中心,以及样本到中心的距离.然后,使用加权k-means算法划分决策树中的非终端结点.使用这种结点划分方法构建的决策树可用于数值型数据、分类型数据以及混合型数据.实验结果表明,该算法建立的分类模型在各种类型的数据集上均获得比经典决策树算法更好的泛化正确率和更简洁的树结构.     

基于非线性拟合方程的多变量决策树算法

根据数据属性间存在的线性相关和非线性相关影响决策树性能的特点,提出了一种用拟合回归建立决策树的算法,并利用这种相关性来提高分类能力.该算法选择了一个较优的属性子集,对此子集中的属性进行加权组合,用于构造决策树的节点,采用二次多项式来拟合两个属性间可能存在的相关性,从而构造出分类能力更强的决策树.研究中用UCI标准数据集对各种算法进行测试及比较,实验结果及分析表明此决策树算法具有良好性能.     

基于领域知识和决策树的DeepWeb数据标注

数据标注是Deep Web数据集成系统的重要组成部分.建立了领域标注模型,描述数据标注的思想,根据不同的数据,使用领域知识和决策树两种标注方法,给出标注算法描述,最后以图书领域作为标注对象进行实验.实验结果表明该方法可高效、准确地对Deep Web数据进行标注.     

基于互信息的模糊决策树及其增量学习

将互信息引进模糊决策树,用于确定决策树的候选分类属性,进而构建模糊决策树.通过增量学习来修正决策树分类模型,以修正分类效果,并用实验验证了该方法的有效性.     

基于模糊推理器的多变量系统控制

针对一类输出量不可直接测量但可以通过其它物理量来获得的多变量非线性系统的控制问题,提出了一种基于模糊推理器的控制方法。这一方法将传统复杂系统的黑箱控制器分解为一般控制器和模糊推理器,其中模糊推理器主要完成相对复杂的测量信号到控制信号的转换,而一般控制器则主要完成系统执行机构的动态性能优化问题。该方法大大简化了这一类控制系统的设计和实现,同时又充分利用了模糊推理和传统控制方法的优点,具有很强的实用性。目前已成功应用于某单位的炮弹装填控制系统的设计中,并取得了良好的效果。     

基于Rough集的决策树算法

针对基于Rough集的经典分类算法值约简算法等不适合大数据集的问题，提出了基于Rough集的决策树算法。采用一个新的选择属性的测度——属性分类粗糙度作为选择属性的启发式，该测度较Rough中刻画属性相关性的测度正区域等更为全面地刻画了属性分类综合贡献能力，并且比信息增益和信息增益率的计算更为简单。采取了一种新的剪枝方法——预剪枝，即在选择属性计算前基于变精度正区域修正属性对数据的初始划分模式，以更有效地消除噪音数据对选择属性和生成叶节点的影响．采取了一种与决策树算法高度融合的简单有效的检测和处理不相容数据的方法，从而使算法对相容和不相容数据都能进行有效处理。对UCI机器学习数据库中几个数据集的挖掘结果表明，该算法生成的决策树较ID3算法小，与用信息增益率作为启发式的决策树算法生成的决策树规模相当。算法生成所有叶节点均满足给定最小置信度和支持度的决策树或分类规则，并易于利用数据库技术实现，适合大数据集。     

决策树构建方法:向前两步优于一步

为提高搜索算法找到全局最优解的可能性,在C4.5算法的基础上,本文提出了向前两步的决策树(two-step forward decision tree,TSFDT)构建算法。该算法在选择属性时,考虑同时选择两个属性带来的信息增益,而不是只考虑单一最优属性对于信息增益的贡献,从而在寻找问题全局最优方面比只考虑单一最优属性具有更大的可能性。10个UCI基准数据集上的实验结果表明,该算法明显优于C4.5算法。     

基于粗糙集决策树优化研究

决策树分类方法是一种有效的数据挖掘分类方法.单变量决策树结构简单,但规模较大.多变量决策树是为了进一步缩减树的规模而提出的决策树结构,通过选取属性的合理组合作为分裂属性,可使树的规模相对较小.文章在对以往所提出的混合变量决策树算法RSH2的抗噪性差和属性被多次选取等问题进行改进的基础上,提出了基于粗糙集的多变量决策树算法VPMDT.通过与ID3、HACRs、RSH2和C4.5等算法进行的实验比较表明,VPMDT有较好的时空性能,并保持较高的分类预测正确率.     

一种新的模糊决策树模型及其应用

模糊决策树是决策树在模糊环境下的一种推广,虽然其表示形式更符合人类的思维,但在构造时会增加预处理的工作量和创建树时的开销。基于这种情况,提出了一种混合算法,算法保留了较少属性值的Shannon熵,计算多属性和连续属性值模糊化后的模糊熵。将该算法应用于滑坡数据的挖掘中,得到了更易于理解的决策树和有效的规则,与传统算法的性能比较也证明了该算法的有效性。     

一种新的基于决策熵的决策表约简方法

分析了在知识约简过程中经典粗糙集理论决策表知识约简方法的不足.以知识粗糙熵为基础,将一致和不一致对象分开,提出决策熵的概念及其属性重要性,在此基础上给出约简的判定定理;然后以条件属性子集的决策熵来度量其对决策分类的重要性,提出一种新的知识约简启发式方法.理论分析和实验结果表明,基于决策熵的属性重要性是一种更有效的启发式信息,该方法时间复杂度较低,有助于搜索最小或次优约简.     

基于粗糙集理论的决策树构造算法

应用粗糙集理论,提出了一种利用新的启发式函数构造决策树的方法。该方法以属性重要性评价指标作为信息熵函数,对务件属性进行选择,充分考虑了属性间的依赖性和冗余性,弥补了ID3算法对属性间依赖性强调不够的缺点,解决了决策树中子树的重复和有些属性在同一决策树上被多次选择的问题,该方法还能对不相容决策表进行正确分类。实例表明该方法是正确有效的,而且明显优于传统的决策树构造方法。     

上下文决策树学习算法及其在机械波图像中的应用

机器学习技术在现代各种数据分析中是备受关注的有效方法之一,目前已在众多领域得到广泛应用。文章以目前较为流行的决策树学习为重点,介绍了决策树学习的几个较为成熟的算法,并将相应算法应用到机械波图像分析中,提出了5点、7点与11点上下文决策树学习算法。通过实验验证该处理方法是有效的。