一种新的模糊决策树算法 ——基于加权毕达哥拉斯模糊熵

传统的模糊决策树虽然可以从模糊数据中抽取模糊分类规则,但只能获取节点的隶属度信息,无法得出样本数据对于节点的非隶属度和犹豫度信息,导致数据分类的准确率不高。针对此,基于毕达哥拉斯模糊集理论,提出了一种新的加权毕达哥拉斯模糊决策树算法（Weighted Pythagorean Fuzzy Decision Tree,WPFDT）。首先,通过改进的K-means聚类算法得到连续属性数据的聚类中心,并结合三角模糊数对连续数据进行模糊处理;其次,定义并计算每一个属性的加权毕达哥拉斯模糊熵,选择加权毕达哥拉斯模糊熵最小的属性作为决策树根节点,在根节点下递归选择模糊熵最小的属性作为分裂节点,同时通过阈值控制树的规模,得到从根节点到叶子节点路径的模糊规则以及模糊规则的隶属度、非隶属度以及犹豫度,并完成预测分类,直至生成WPFDT模型;最后,选取UCI上的3个医学数据集（Haberman、Breast Cancer、Parkinson）进行实验,在分类准确率和得出模糊规则的数量与3种传统决策树算法（模糊ID3算法、C4.5算法、CART算法）比较,实验结果表明：WPFDT在分类精度和树大小上都优于其他传统决策树算法,并且有较高的召回率和精确率。     

基于知识粗糙度的多变量决策树的构建

提出了一种基于粗糙集中知识粗糙度的构建多变量决策树的算法.基本思想是,在选择了核属性作为决策树的根节点后,将选择知识粗糙度最小的那个条件属性作为下一个分枝结点的检验属性.     

基于混合互信息的决策树入侵检测

为了提高入侵检测的准确度和速度,针对入侵规则属性相关性的特点,将属性与类间的互信息与属性间的互信息结合,提出了一种新的混合互信息的决策树分类算法.在对此算法进行了算法设计和分析的基础上,将由此算法构造的决策树分类方法对入侵规则进行组织,改变了传统的入侵规则逐条串行检测,以增加预处理时间为代价,提高了数据包的过滤速度和准确度.实验分析表明,应用该算法的入侵检测系统比使用传统方法具有更高的准确率和速度.     

一种改进的基于粗糙集理论的决策树分类算法

提出一种基于粗糙集理论的决策树分类算法.首先,将核属性集中的核属性进行合取后加入析取变换,实现属性约简;其次,在决策树构造阶段,对各条件属性分别求其上下近似集,进而得到各属性的近似精度.选择近似精度最大的属性作为决策树的根结点,以此方法递归应用到各子树上来选择决策树的结点并实现决策树的剪枝.实例分析表明,改进的算法提高了决策树方法的效率.     

一种应用关联规则森林的改进贝叶斯分类算法

针对朴素贝叶斯分类方法中属性值条件独立假设不适应实际情况的问题,提出了关联规则森林表示法及应用关联规则森林的改进贝叶斯分类算法(ABC算法).ABC算法利用关联规则挖掘得到满足条件的关联规则,并由此来构造关联规则森林,而规则森林中所有根节点的概率与所有适用的规则置信度连乘,就得到所有属性值的联合概率.应用UDI数据集对分类器进行了测试,分类结果表明,ABC算法的分类准确率明显高于朴素贝叶斯分类算法,平均提高5%,特别是对属性间有着较强依赖关系的数据集,其分类准确率提高了37%.     

一种改进的C4.5算法

为了提高C4.5算法的有效性,提出了一种改进的MB-C4.5算法.该算法主要改进了C4.5算法的分枝策略和属性选取的标准.把分类效果较差的分枝合并到分类效果较好的分枝中.引进一个平衡度系数,系数大小由决策者依靠先验知识或领域知识确定.MB-C4.5算法在提高重要属性的选择、减少无意义分枝、过度拟合等方面有一定提高.用该算法构造出的决策树进行分类更为准确、合理.对改进前后的算法用实例进行分析,说明MB-C4.5算法的有效性.     

基于非线性拟合方程的多变量决策树算法

根据数据属性间存在的线性相关和非线性相关影响决策树性能的特点,提出了一种用拟合回归建立决策树的算法,并利用这种相关性来提高分类能力.该算法选择了一个较优的属性子集,对此子集中的属性进行加权组合,用于构造决策树的节点,采用二次多项式来拟合两个属性间可能存在的相关性,从而构造出分类能力更强的决策树.研究中用UCI标准数据集对各种算法进行测试及比较,实验结果及分析表明此决策树算法具有良好性能.     

数据挖掘中决策树分类算法的研究

决策树方法是数据挖掘中一种重要的分类方法,决策树是一个类似流程图的树型结构,其中树的每个内部结点代表对一个属性的测试,其分支代表测试的结果,而树的每个叶结点代表一个类别。通过决策树模型对一条记录进行分类,就是通过按照模型中属性测试结果从根到叶找到一条路径,最后叶节点的属性值就是该记录的分类结果。     

基于决策树和规则关联分析的英语教学质量评估

为了提高英语教学质量评估的有效性,采用决策树建立教学质量评估指标分类规则,同时采用关联规则分析对评估结果进行验证.提取英语教学质量评估的有效指标,对指标属性进行量化和泛化处理;根据待评估样本计算各指标属性的熵增益并对熵增益率降序排序,分别获得根节点和分支节点,结合节点属性值得到分支个数,构建完整的教学质量评估决策树;采用关联规则分析方法求解各指标属性的支持度和置信度,根据关联分析结果验证决策树评估的有效性.结果表明,科学设置评估指标参数,并合理选择评估指标属性分段区间.通过本文方法可以较好地评估分析影响英语教学质量关键要素及内在联系.     

信度决策树中推理策略的改进

指出现有信度决策树中推理算法的不足之处,给出了一种新的基于规则的推理算法.新算法充分利用信度函数理论处理不确定信息的优势,采用折扣规则修正叶节点的输出,考虑了测试属性权重对分类结果的影响,提高了分类的精度和可靠性.针对现有证据组合规则处理冲突证据的不足,提出了一种新的证据组合规则,可以将相对可信度等信息有效融入证据组合过程.     

基于多次学习和关联度的关联分类改进算法

基于支持度置信度框架的关联分类算法在生成规则时难以提出大量高质量规则,而且在一些数据集尤其是不平衡数据集上,部分训练实例未被产生的关联规则所覆盖,导致算法的分类准确率不高.基于以上问题提出了改进的关联分类的算法(Improved Algorithm based on Multiple learning and Correlation degree,IAMC).首先,在提取规则时,IAMC对训练集进行多次关联分类学习,尽量多地提出高质量的规则.其次,在生成规则时采用综合考虑了置信度,补类支持度的新度量关联度,以提高生成的规则的质量.最后,在关联分类规则提取后,对利用已有规则无法判断类别的和未被已有规则覆盖的训练实例用决策树方法再次提取规则,并加入到规则集中.实验结果表明,IAMC算法能提出更多高质量的规则,在多个UCI数据集上具有较高的分类准确率.     

多种属性选取标准“多数表决”优化决策树研究

测试属性的选取即属性选择标准是构建决策树的关键及核心,对于同样的数据集,不同的属性选取标准构建的决策树有可能差别很大。对于不知采用何种属性选择标准或者没有一种标准适合所处理的数据集,本文提出了一种解决的方法,即多种属性选取标准多数表决优化决策树算法,该算法利用"专家会诊"的思想,构建决策树,具有更广的适应性和更可能高的准确率。     

属性加权FCM算法的参数选择规则

属性加权FCM算法可在算法迭代过程中求出各属性的权值,并不影响算法本身的执行效率,可发现隐藏在部分属性中的类结构,提高分类准确率。鉴于参数对算法性能的影响,本文对该算法的目标函数进行了理论分析,通过严格的公式推导之后,给出了算法的参数选择规则。经实验证明,该规则对于属性加权FCM算法的参数选择有一定的指导作用。     

一种基于模糊化决策树的分类算法

提出了一种基于模糊化决策树的自适应分类算法.介绍基于决策树的分类算法,指出训练样本分布不均匀或树剪枝操作都可能引起分类规则的不完全,导致分类出现"盲区".引入决策树的模糊化方法及分支(规则)激活度的概念,给出一种新的自适应分类算法.并用实例分析表明,该算法不仅解决了分类规则不完全的问题,而且也提高了决策树分类的精度及分类结果的可解释性.     

一种面向噪声数据的决策树优化算法研究

针对ID3算法构造的决策树结构复杂、对噪声数据比较敏感等局限性,提出一种新的面向噪声数据的决策树构造算法。算法借鉴变精度粗糙集和尺度函数概念,采用不同尺度下近似分类精度选择测试属性构造决策树,在算法形成过程中利用决策规则的可信度对决策树进行修剪,避免了生成的决策树过于庞大。结果表明,该方法是有效的,能够克服部分噪声数据对决策树的影响,且能满足不同用户对决策精度的要求。     

基于Rough集的决策树算法

针对基于Rough集的经典分类算法值约简算法等不适合大数据集的问题，提出了基于Rough集的决策树算法。采用一个新的选择属性的测度——属性分类粗糙度作为选择属性的启发式，该测度较Rough中刻画属性相关性的测度正区域等更为全面地刻画了属性分类综合贡献能力，并且比信息增益和信息增益率的计算更为简单。采取了一种新的剪枝方法——预剪枝，即在选择属性计算前基于变精度正区域修正属性对数据的初始划分模式，以更有效地消除噪音数据对选择属性和生成叶节点的影响．采取了一种与决策树算法高度融合的简单有效的检测和处理不相容数据的方法，从而使算法对相容和不相容数据都能进行有效处理。对UCI机器学习数据库中几个数据集的挖掘结果表明，该算法生成的决策树较ID3算法小，与用信息增益率作为启发式的决策树算法生成的决策树规模相当。算法生成所有叶节点均满足给定最小置信度和支持度的决策树或分类规则，并易于利用数据库技术实现，适合大数据集。     

基于属性间交互信息的模糊ID3算法的扩展

模糊ID3算法是模糊决策树归纳中比较普遍和有效的启发式算法．以模糊ID3算法为例,分析了属性之间的冗余信息对构建模糊决策树的影响,并提出一个扩展算法,要求所选择的测试属性不仅和类的交互信息较大,而且和祖先节点上用过的属性之间的交互信息较小．实验结果表明：扩展算法优于模糊ID3算法     

一种面向不平衡分类的改进多决策树算法

在处理不平衡数据集时,为了降低类重叠对分类效果的影响,避免过采样造成的过拟合现象,以及欠采样造成的信息丢失问题,本文提出一种基于欠采样与属性选择的多决策树方法UAMDT(multi-decision tree based on under-sampling and attribute selection)。其首先利用Tomek link欠采样与集成欠采样两种技术相结合对数据进行处理,并获得多个平衡子集;然后在每个平衡子集上构建单决策树,采用结合信息增益和基尼指数的混合属性度量作为属性选择标准,选择最优属性作为每棵单决策树的根节点的分裂属性;最后将单决策树进行集成构建多决策树。通过对10个不平衡数据集的多个评估指标进行实验,验证了本文算法的有效性和可行性。     

基于粗糙集的多标签文本分类算法

将粗糙集优越的约简理论应用于多标签文本分类,提出了基于粗糙集理论的多标签文本分类算法,该算法利用训练阶段得到的各个类别的分类规则与测试实例逐一匹配,得出实例的类标签集合,扩展了粗糙集理论在文本分类中的应用,实验证明算法有效可行.     

基于统计决策树的包分类算法

基于网络包分类算法在时间和空间复杂度上的限制,启发式策略一般具有较快的速度,同时在应用上具有较好的前景,提出了一种基于统计决策树的启发式包分类算法.该算法把规则头部中的每一位看作一个特征属性,因为不同位有不同的区分效果,根据对规则的统计把最具有区分意义的几位提取出来作为决策树的决策属性,使规则在子集中分布比较均匀,在子集中也做同样的处理,递归形成树形的数据结构;匹配时在树的每一层根据区分位判断其所属的子集,直到找到相匹配的规则.算法测试表明能实现高效的分类.