一种改进的决策树算法

为解决决策树算法ID3的多值偏向的缺点,利用属性相似度偏向少值属性的特点,提出一种将属性相似度作为信息熵的系数的属性选择标准,从而提出相应的决策树生成算法.实验结果表明,新算法既避免了以信息熵作为属性选择标准的决策树算法的多值偏向,也避免了以属性相似度作为属性选择标准的决策树算法的少值偏向.     

基于非线性拟合方程的多变量决策树算法

根据数据属性间存在的线性相关和非线性相关影响决策树性能的特点,提出了一种用拟合回归建立决策树的算法,并利用这种相关性来提高分类能力.该算法选择了一个较优的属性子集,对此子集中的属性进行加权组合,用于构造决策树的节点,采用二次多项式来拟合两个属性间可能存在的相关性,从而构造出分类能力更强的决策树.研究中用UCI标准数据集对各种算法进行测试及比较,实验结果及分析表明此决策树算法具有良好性能.     

基于Rough集的决策树算法

针对基于Rough集的经典分类算法值约简算法等不适合大数据集的问题，提出了基于Rough集的决策树算法。采用一个新的选择属性的测度——属性分类粗糙度作为选择属性的启发式，该测度较Rough中刻画属性相关性的测度正区域等更为全面地刻画了属性分类综合贡献能力，并且比信息增益和信息增益率的计算更为简单。采取了一种新的剪枝方法——预剪枝，即在选择属性计算前基于变精度正区域修正属性对数据的初始划分模式，以更有效地消除噪音数据对选择属性和生成叶节点的影响．采取了一种与决策树算法高度融合的简单有效的检测和处理不相容数据的方法，从而使算法对相容和不相容数据都能进行有效处理。对UCI机器学习数据库中几个数据集的挖掘结果表明，该算法生成的决策树较ID3算法小，与用信息增益率作为启发式的决策树算法生成的决策树规模相当。算法生成所有叶节点均满足给定最小置信度和支持度的决策树或分类规则，并易于利用数据库技术实现，适合大数据集。     

改进ID3决策树算法——SS_ID3算法

从分析ID3决策树算法及解析入手,引入属性样本结构相似度概念,构建了样本结构相似度模型,并以该模型和属性的信息增益共同作为决策树内部结点的选择标准。改进SS_ID3决策树算法,着眼于决策树非叶结点的选择标准的优化,继承了原始ID3决策树算法的优点,并在多值偏向性的修正、决策树的大小控制及分类预测性能等方面取得了积极的改进。     

基于属性相似度的决策树生成算法

为寻找最优决策树,对决策树生成方法进行了研究,提出了属性相似度的计算方法,引入了属性相似度,对测试属性进行约简.在此基础上,提出了以属性相似度为启发规则的决策树生成算法.该方法预测精度高,计算简便.     

基于模糊度的决策树生成算法

在处理不确定问题中,生成模糊决策树是一种常用的方法.其算法主要包含2个步骤,一个是树的生成条件,主要是确定扩展属性的选择标准,并以此为核心得到生成模糊决策树的启发式算法.另一个则是树的终止条件,否则会造成树的过度拟合的情况.目前,典型的算法中通常利用粗糙模糊依赖度作为选择扩展属性的依据,但是这个依赖函数不具备单调性,从而导致算法有不收敛的可能,基于这个问题,给出了模糊度的定义,重新定义了模糊依赖度和模糊粗糙度,选择模糊依赖度最大的条件属性作为根结点;然后,使用模糊粗糙度作为叶子结点的终止条件;最后,通过实例说明了整个模糊决策树的归纳过程.     

一种面向不平衡分类的改进多决策树算法

在处理不平衡数据集时,为了降低类重叠对分类效果的影响,避免过采样造成的过拟合现象,以及欠采样造成的信息丢失问题,本文提出一种基于欠采样与属性选择的多决策树方法UAMDT(multi-decision tree based on under-sampling and attribute selection)。其首先利用Tomek link欠采样与集成欠采样两种技术相结合对数据进行处理,并获得多个平衡子集;然后在每个平衡子集上构建单决策树,采用结合信息增益和基尼指数的混合属性度量作为属性选择标准,选择最优属性作为每棵单决策树的根节点的分裂属性;最后将单决策树进行集成构建多决策树。通过对10个不平衡数据集的多个评估指标进行实验,验证了本文算法的有效性和可行性。     

基于CRF模型的用户文本检索需求信息划分

为了正确理解检索意图和客观表达用户的主观信息,结合CRF模型较高的语义区分率和歧义消解率等特点,对用户文本检索需求信息进行区分,同时选择关键词的上下文信息作为特征获取更丰富的信息,提出一种基于条件随机场(conditional random field,CRF)模型的文本检索需求信息划分算法(CRF_Q),从而清晰地划分两个连续检索词间的边界.在锚文本相似度和检索词相似度两个属性相组合的实验结果中,决策树模型和CRF_Q算法最优,且CRF_Q算法的综合评价指标较决策树模型高4.4%.     

基于粗糙集的RDT决策树生成算法的研究及应用

介绍了一种基于粗糙集理论的决策树生成算法--RDT(Rought Set Decision Tree).该方法运用了粗糙集理论中条件属性相对于决策属性的核,引入启发式条件计算并选择条件属性作为决策树的根结点或子结点.通过一个例子,与运用信息熵概念建立决策树的算法进行比较,结果表明采用RDT方法得到的决策树优于采用信息熵方法得到的决策树.还讨论了RDT与ID3算法对决策树精度和规模的影响,分析数据分类和知识发现的过程及特点.     

基于决策属性挑选策略的改进的决策树算法

首先介绍了决策树算法的基本理论和建模过程及传统的决策属性的选取标准。然后介绍了传统的ID3决策树算法,并对常用决策树算法的优缺点进行了总结。以经典的决策树ID3模型为基础,对已有决策属性挑选策略进行了分析和总结,对决策属性挑选策略进行了改进,提出了基于"相关信息增益度"的决策属性挑选策略。该方法基于信息增益的计算标准,并通过引入属性间相关性关系对传统ID3算法"多值偏向性"的缺陷进行补偿。最后,将该方法应用于UCI数据中心的标准数据集合中,从分类精确度方面对改进的ID3算法和传统ID3算法进行比较和分析。通过实验分析,改进的E-ID3算法在分类精确度方面有更优秀的性能表现。     

非线性二维稳态导热反问题的一种数值解法

建立了非线性二维导热反问题的数学模型,利用边界温度观测信息,采用遗传算法和有限元法相结合的混合数值方法,确定了二维非线性导热问题中材料热传导系数随温度线性变化的规律,该方法无需利用材料内部温度观测人利用边界温度测量信息,就可以识别材料热传导系数随温度线性变化的,考虑观测的影响,对方法的计算精度进行了检验,该方法是全局收敛的。     

知识约简的差别矩阵启发式算法

首先从差别矩阵的角度 ,对决策表中属性的重要性给出度量 ,并提出了部分差别矩阵的概念 .在此基础上提出了一种基于部分差别矩阵的知识相对约简的启发式算法 ,并通过实例分析表明 ,在多数情况下该算法能够得到决策表的最小约简 .     

模糊决策树算法及其在注塑模浇口设计中的知识获取

通过对决策树算法的研究,特别是分析了ＩＤ３的基本算法过程,指出其应用中的多种缺陷,提出了用模糊概念来解决传统决策树中过分匹配,从而提高决策树用于知识获取性能的思想．结合树的深度优先算法、模糊包含度函数和模糊不确定函数,提出了具体实现模糊决策树（ＦＤＴ）算法,并在注塑模浇口设计中加以应用．该算法具有如下优点：在相同精度条件下,大量压缩知识,在将来知识推理中极大地避免了组合爆炸的可能性;随着应用的不断深入,ＦＤＴ获取的知识会逐渐集中在领域中常用的和重要的知识上．     

基于遗传算法和粗糙集理论的增量式规则获取方法

规则获取的增量式算法是数据挖掘领域的一个热点问题.基于粗糙集理论,从规则获取和优化两方面研究了基于遗传算法的增量式规则挖掘方法,它具有结构简单、搜索效率高、求解速度快等优点.通过研究决策表和决策规则系数,建立基于粗糙集表示和度量的知识,并且将遗传算法和规则挖掘算法相结合,建立了新的优化方法,提出了一种基于遗传算法的增量式规则挖掘的方法.在原有规则集的基础上进行规则和规则参数的增量式更新,避免了为更新规则而重新运行规则获取算法.试验结果表明,执行增量式GA的能够有效地获取最优规则.     

基于粗集理论的分类关联规则挖掘研究

认为数据量的巨大和高维、用户交互与先验知识的利用等等是知识发现领域面临的问题和难点 .粗糙集理论是一种具有模糊边界的集合理论 ,它作为研究知识发现的新型工具 ,能严格地处理不精确数据的分类问题 ,被广泛应用于不相容决策表中的规则提取过程中 .针对粗糙集理论中属性约减和属性值约减这两个重要问题进行了研究 ,并介绍了数据集中挖掘分类规则的基本原理 ,同时利用 RS理论中核和核值的概念 ,提出了一个在数据集中发现没有冗余属性的最小归纳依赖关系并简化决策系统的数据挖掘算法 ,并应用一简单的例子说明如何在数据库中发现分类规则 ,实验结果表明此算法可以大大提高系统潜在知识的清晰度     

一种基于系统不确定性的主动式知识学习算法

主动式知识学习方法不依赖于先验领域知识，其学习过程受信息系统的内在属性控制，所产生的知识系统 能够更客观地表达信息系统的潜在特征和规律。系统不确定性能够有效地控制主动式知识学习过程。基于粗糙 集理论，提出一种系统不确定性度量方式，结合Skowron算法，设计出一种基于系统不确定性的主动式决策规则知 识学习算法。仿真实验结果表明该算法能够更好地适应系统的不确定性，其综合性能明显优于其他同类算法。     

一种基于系统不确定性的主动式知识学习算法

主动式知识学习方法不依赖于先验领域知识，其学习过程受信息系统的内在属性控制，所产生的知识系统能够更客观地表达信息系统的潜在特征和规律。系统不确定性能够有效地控制主动式知识学习过程。基于粗糙集理论，提出一种系统不确定性度量方式，结合Skowron算法，设计出一种基于系统不确定性的主动式决策规则知识学习算法。仿真实验结果表明该算法能够更好地适应系统的不确定性，其综合性能明显优于其他同类算法。     

粗糙集中基于信息量的决策表属性约简算法

高效的属性约简算法是粗糙集理论应用于知识发现的基础,要在令人可接受的时间内获得约简的通常做法是基于启发式的约简方法。本文提出了决策表中决策属性集相对条件属性集的条件信息量的概念,同时用知识的条件信息量定义了属性的重要性,在此基础上,提出了一种新的基于信息量的属性约简算法,该算法的时间复杂度为(O|C|3|U|2),通过实例分析,表明该算法是有效的。     

基于三支决策的高斯混合聚类研究

针对隶属关系不明确的情况,即样本点属于多个类别的概率接近,高斯混合模型聚类存在较大的误判风险的问题,将三支决策思想融入高斯混合模型中,提出一种基于三支决策的高斯混合聚类算法.新算法计算出数据对象属于各个类簇的后验概率作为决策评价函数,用于确定聚类结果的正域和边界域.由于新算法对边界对象采取了比一般高斯混合聚类算法更加谨慎的操作,避免了直接做出对象属于某一类或不属于某一类的决策所需承担的风险,从而有效减小了误判代价.实验进一步表明,所提出的算法不仅继承了高斯混合聚算法的特点,具有良好的聚类性能,而且还对于非球形数据簇表现出优良的聚类效果.     

一种基于粒子群算法的多重决策树分类器融合方法

针对数据挖掘中的分类问题,根据多分类器融合的思想,提出一种基于粒子群优化算法的多重决策树分类器融合方法。先将概率度量水平的多重决策树进行线性组合,然后在融合算法中采用粒子群算法优化连接权值矩阵。并在UCI标准数据集上对模型进行了实验研究。结果表明该融合分类方法比单个决策树分类方法具有更高的分类精度。