基于模糊度的决策树生成算法

在处理不确定问题中,生成模糊决策树是一种常用的方法.其算法主要包含2个步骤,一个是树的生成条件,主要是确定扩展属性的选择标准,并以此为核心得到生成模糊决策树的启发式算法.另一个则是树的终止条件,否则会造成树的过度拟合的情况.目前,典型的算法中通常利用粗糙模糊依赖度作为选择扩展属性的依据,但是这个依赖函数不具备单调性,从而导致算法有不收敛的可能,基于这个问题,给出了模糊度的定义,重新定义了模糊依赖度和模糊粗糙度,选择模糊依赖度最大的条件属性作为根结点;然后,使用模糊粗糙度作为叶子结点的终止条件;最后,通过实例说明了整个模糊决策树的归纳过程.     

基于宽松下近似的模糊决策树归纳算法

利用模糊相似关系对连续型决策表进行模糊化,进而运用宽松下近似定义启发式作为选择扩展属性的标准,从模糊决策表学习模糊决策树.     

基于属性间交互信息的模糊ID3算法的扩展

模糊ID3算法是模糊决策树归纳中比较普遍和有效的启发式算法．以模糊ID3算法为例,分析了属性之间的冗余信息对构建模糊决策树的影响,并提出一个扩展算法,要求所选择的测试属性不仅和类的交互信息较大,而且和祖先节点上用过的属性之间的交互信息较小．实验结果表明：扩展算法优于模糊ID3算法     

基于粗糙集的RDT决策树生成算法的研究及应用

介绍了一种基于粗糙集理论的决策树生成算法--RDT(Rought Set Decision Tree).该方法运用了粗糙集理论中条件属性相对于决策属性的核,引入启发式条件计算并选择条件属性作为决策树的根结点或子结点.通过一个例子,与运用信息熵概念建立决策树的算法进行比较,结果表明采用RDT方法得到的决策树优于采用信息熵方法得到的决策树.还讨论了RDT与ID3算法对决策树精度和规模的影响,分析数据分类和知识发现的过程及特点.     

改进ID3决策树算法——SS_ID3算法

从分析ID3决策树算法及解析入手,引入属性样本结构相似度概念,构建了样本结构相似度模型,并以该模型和属性的信息增益共同作为决策树内部结点的选择标准。改进SS_ID3决策树算法,着眼于决策树非叶结点的选择标准的优化,继承了原始ID3决策树算法的优点,并在多值偏向性的修正、决策树的大小控制及分类预测性能等方面取得了积极的改进。     

基于交互信息的连续值属性决策树学习算法

Fayyad连续值属性决策树学习算法使用信息熵的下降速度作为选取扩展属性标准的启发式,本文针对其易选取重复的条件属性等不足之处,引入属性间的交互信息,提出了一种改进算法--基于交互信息的连续值属性决策树学习算法,它的核心是使用信息熵和交互信息的下降速度作为选取扩展属性标准的启发式.实验结果表明,与Fayyad决策树学习算法相比,该算法降低了决策树中同一扩展属性的重复选取率,实现了信息熵的真正减少,提高了训练精度和测试精度,能构造出更优的决策树.     

一种改进的决策树分类算法研究

传统的ID3决策树算法存在诸多不足,如计算效率低、多值偏向等,对此,提出了属性值空缺、多值属性的选择以及属性选择标准方面的改进方案,并将加权熵和简化熵引入决策树算法以改进传统ID3算法.实验结果表明,改进后的算法在整体性能方面较目前广泛应用的ID3算法有更优秀的性能表现.     

基于属性间交互信息的预剪枝ID3算法

ID3算法是决策树归纳中普遍而有效的启发式算法.本文针对ID3算法的不足,给出了一个改进版本,它在选择测试属性时不仅要求该属性和类的交互信息较大,而且要求和祖先结点使用过的属性之间的交互性息尽可能小,从而避免了对冗余属性的选择,实现信息熵的真正减少.在生成树的过程中,设定分类阈值,对树进行剪枝,以避免数据子集过小,使进一步划分失去统计意义.实验结果表明,该算法能构造出比ID3算法更优的决策树.     

基于模糊-粗糙集模型的一种归纳学习方法

对传统粗糙集理论进行了扩展，提出了一种模糊-粗糙集模型。利用模糊集理论和Koho-nen网络自组织映射算法对决策表的连续属性进行模糊化，并用模糊贴近度构造模糊相似矩阵，把普通粗糙集的不可分辨关系推广为模糊相似关系。提出一种基于模糊-粗糙集模型的归纳学习算法FRILA，此算法和决策树算法相比，具有得到的规则数目少、规则表示简单等优点。实例验证了此方法的有效性。     

高泛化能力的变精度粗糙集的决策树算法

现有基于变精度粗糙集模型的决策树生成算法具有如下不足:有些叶子结点上覆盖的实例数太少,导致这些叶子结点的泛化能力太小而没有意义;不能很好地处理不一致的实例集.为解决上述问题,引入属性是否具有决策类这一概念,较好地避免了决策树的过剩生长,使得生成的决策树有较好的泛化能力.给出新的终止条件,即时地终止不一致实例集的生长.在此基础上,给出新的终止条,提出了一种新的基于变精度粗糙集的决策树生成算法.用一实例说明了新算法的效率得到提高.     

决策树ID3算法研究及其改进

以ID3算法为基础,提出了改进决策树ID3算法的一种新方法,而该方法建立的决策树与ID3建立的决策树在结点属性选择上具有一致性,因而建立的决策树是相同的,但效率是高的.     

基于知识粗糙度的多变量决策树的构建

提出了一种基于粗糙集中知识粗糙度的构建多变量决策树的算法.基本思想是,在选择了核属性作为决策树的根节点后,将选择知识粗糙度最小的那个条件属性作为下一个分枝结点的检验属性.     

基于Rough集的决策树算法

针对基于Rough集的经典分类算法值约简算法等不适合大数据集的问题，提出了基于Rough集的决策树算法。采用一个新的选择属性的测度——属性分类粗糙度作为选择属性的启发式，该测度较Rough中刻画属性相关性的测度正区域等更为全面地刻画了属性分类综合贡献能力，并且比信息增益和信息增益率的计算更为简单。采取了一种新的剪枝方法——预剪枝，即在选择属性计算前基于变精度正区域修正属性对数据的初始划分模式，以更有效地消除噪音数据对选择属性和生成叶节点的影响．采取了一种与决策树算法高度融合的简单有效的检测和处理不相容数据的方法，从而使算法对相容和不相容数据都能进行有效处理。对UCI机器学习数据库中几个数据集的挖掘结果表明，该算法生成的决策树较ID3算法小，与用信息增益率作为启发式的决策树算法生成的决策树规模相当。算法生成所有叶节点均满足给定最小置信度和支持度的决策树或分类规则，并易于利用数据库技术实现，适合大数据集。     

基于粗糙集理论的决策树构造算法

应用粗糙集理论,提出了一种利用新的启发式函数构造决策树的方法。该方法以属性重要性评价指标作为信息熵函数,对务件属性进行选择,充分考虑了属性间的依赖性和冗余性,弥补了ID3算法对属性间依赖性强调不够的缺点,解决了决策树中子树的重复和有些属性在同一决策树上被多次选择的问题,该方法还能对不相容决策表进行正确分类。实例表明该方法是正确有效的,而且明显优于传统的决策树构造方法。     

一种改进ID3型决策树挖掘算法

分析经典ID3型决策树挖掘算法中存在的问题,对其熵值计算过程进行改进,构建一种改进的ID3型决策树挖掘算法.重新设计决策树构建中的熵值计算过程,以获得具有全局最优的挖掘结果,并针对UCI数据集中的6类数据集展开挖掘实验.结果表明:改进后的挖掘算法在决策树构建的简洁程度和挖掘精度上,都明显优于ID3型决策树挖掘算法.     

一种新的简化ID3决策树的算法

决策树简化是决策树学习算法中的一个重要分支。文章以 ID3算法构造的决策树为基础 ,提出了一种高效的简化决策树的算法。算法先序遍历由 ID3构造出来的决策树的各个节点并对其子树进行比较 ,如果各子树的属性都相同而且存在某些相应的分支对于各子树完全相同 ,则改变决策树中相应属性的层次关系并把相同的分支分别合并起来。算法减少了决策树的深度、宽度与叶子数目 ,降低了决策树的规模。尤其对于逻辑表达式的归纳学习 ,简化之后的决策树要明显优于原决策树。     

基于关联矩阵的决策树分类算法

ID3算法是决策树学习归纳和数据挖掘中的核心方法。针对ID3算法存在的多值偏向问题,该文提出了一种新的方法对ID3算法加以改进。首先建立属性的关联矩阵,然后通过计算属性的类方差选择分裂属性,结合实例说明了改进算法的基本思想。实验结果表明,改进后的算法能够构造更合理的决策树并能在一定程度上克服多值偏向。     

单边三角形模糊数属性决策树学习算法

通过定义单边三角形模糊数空间上的一种全序关系,提出了属性取值为单边三角形模糊数的决策树学习算法.作为ID3算法在单边三角形模糊数意义下的推广,算法通过一种分割信息熵的极小化来选取扩展属性.通过非平稳割点的分析,减少了分割信息的计算次数,使算法的效率得到了提高.     

一种改进的决策树算法

为解决决策树算法ID3的多值偏向的缺点,利用属性相似度偏向少值属性的特点,提出一种将属性相似度作为信息熵的系数的属性选择标准,从而提出相应的决策树生成算法.实验结果表明,新算法既避免了以信息熵作为属性选择标准的决策树算法的多值偏向,也避免了以属性相似度作为属性选择标准的决策树算法的少值偏向.     

一种粗糙模糊神经网络分类器及其应用

提出了一种粗糙模糊神经网络分类器的模型。其过程为:利用粗糙集理论获取分类知识,根据训练样本建立决策表,进行决策表属性值离散化、属性约简和分类规则的提取;依据约简后决策表的属性、经模糊化处理的属性值及分类规则构造粗糙模糊神经网络分类器。该分类器可以有效地克服粗糙集规则匹配方法抗噪声能力和规则泛化能力差的缺点;同时可简化神经网络的结构,加快网络的训练速度。并详细介绍了该分类器用于汽车车牌字符识别的步骤和实验结果。