决策树算法的研究与改进

决策树是数据挖掘中重要的分类方法，本文在研究和比较几种经典的决策树算法基础上，提出了一种改进的决策树算法：基于度量的决策树（MBDT）．这种决策树实际上是把线性分类器和决策树结合在一起．实验证明，用该方法构造的决策树能有效地减少决策树的层数，从而提高决策树的分类效率．通过MBDT分类实验，验证了上面结论的正确性和有效性．     

基于决策树的神经网络规则抽取方法

将从神经网络中抽取一个可理解的模型视为一个归纳学习任务 ,其中 ,目标概念就是神经网络表达的功能 ,所生成的可理解模型是一个能很好近似神经网络的决策树 .在这个过程中 ,应用了决策树归纳学习的优化原则 ,使得生成的决策树能最简洁、准确地描述神经网络学到的知识 .实验证明 ,生成的决策树可以很好地近似神经网络 ,且比用传统方法生成的决策树具有更好的分类精度 ,同时NNtoDT算法也保持了具有较好的通用性和可扩充性的特性 .     

基于互信息的模糊决策树及其增量学习

将互信息引进模糊决策树,用于确定决策树的候选分类属性,进而构建模糊决策树.通过增量学习来修正决策树分类模型,以修正分类效果,并用实验验证了该方法的有效性.     

数据挖掘中改进的C4.5决策树分类算法

针对传统C4.5决策树分类算法需要进行多次扫描,导致运行效率低的缺陷,提出一种新的改进C4.5决策树分类算法.通过优化信息增益推导算法中相关的对数运算,以减少决策树分类算法的运行时间;将传统算法中连续属性的简单分裂属性改进为最优划分点分裂处理,以提高算法效率.实验结果表明,改进的C4.5决策树分类算法相比传统的C4.5决策树分类算法极大提高了执行效率,减小了需求空间.     

决策树优化研究

提出用新的极值点禁忌搜索算法构造分类问题的全局优化决策树,该算法呆用于不可微分的目标函数。全局树优化方法是非贪婪的,用于构造具有固定结构的多变量决策树,将多变量决策树表示成析取线性不等式集合,全局树优化就是使析取线性不等式中的分类误差最小化。     

一种基于粒子群算法的多重决策树分类器融合方法

针对数据挖掘中的分类问题,根据多分类器融合的思想,提出一种基于粒子群优化算法的多重决策树分类器融合方法。先将概率度量水平的多重决策树进行线性组合,然后在融合算法中采用粒子群算法优化连接权值矩阵。并在UCI标准数据集上对模型进行了实验研究。结果表明该融合分类方法比单个决策树分类方法具有更高的分类精度。     

一种基于粗糙集的决策树构造方法

决策树是一种有效的数据分类方法。传统的决策树方法是通过信息熵的计算去生成决策树的节点,计算量大。基于粗糙集理论,利用近似精度的概念来进行属性选择,构造决策树,有效地提高了效率并降低了决策树的复杂度。     

同分布强化学习优化多决策树及其在非平衡数据集中的应用

针对传统决策树在非平衡数据集分类时少数类预测性能出现偏差的问题,提出一种基于强化学习累积回报的属性优化策略即改进型同分布多决策树方法。首先通过同分布随机抽样法对非平衡数据集中的多数类样本进行随机采样,进而对各子集建立单决策树形成多个决策树,各决策树采用分类回归树算法建树,并利用强化学习累积回报机制进行属性选择策略的优化。研究结果表明:提出的基于强化学习累积回报机制的属性优化策略可有效提高少数类被正确分类的概率;同分布多决策树方法可有效提高非平衡数据集整体预测性能,且正类率和负类率的几何平均值都有所提高。     

基于决策树的网络流量分类方法

针对传统流量分类方法(基于端口和有效载荷)分类不可靠的问题,提出基于C4.5决策树算法,根据训练集中属性的信息增益比率构建分类模型,按属性对测试数据集进行预测,通过查找分类模型实现对网络流量的分类。在公开数据集和自己采集的数据集上进行实验,结果表明,采用C4.5决策树算法对网络流量分类,平均分类精度为93%,单类别分类精度均在90%以上,能有效地实现对网络流量应用类型的识别。     

一种基于C4.5算法的广告数据包分类方法

针对网页广告中存在的安全问题,提出了一种基于C4.5算法的广告数据包分类方法。通过对用户访问网页时产生的数据包进行收集,从中提取有用信息来构建分类模型实现广告数据包的分类。在对数据包进行处理时根据数据包中包含的信息生成网络关系图,之后在对关系图进行分析时将图论中的量作为属性选取的依据。本方法将数据包的时间属性作为分类的主要属性之一,针对时间属性的处理方法提出了新定义。实验结果表明,本文提出的分类方法能够快速构建具有较高的分类准确率的分类模型,研究结果可为类似问题的研究提供参考借鉴。     

基于遥感与GIS空间分析的电力优化选线研究

该文针对输电线路径优选的目标,依据多源遥感数据,基于各种地物类型光谱特征知识分析,并结合遥感影像的纹理特征,采用决策树分类算法提取影响输电线路径选择的主要因素。研究结果表明,该分类方法能有效地进行地物分类与识别,特别是综合光谱和纹理信息有效地解决了裸土与居民地的混分现象。同时利用遥感立体像对数据,基于数字摄影测量方法构建了DEM,其精度能够满足输电线路径优选的要求。综合地物和地形多要素作为输电线路径优选的约束条件,采用GIS空间分析方法,实现了输电线路径优选。     

基于混合互信息的决策树入侵检测

为了提高入侵检测的准确度和速度,针对入侵规则属性相关性的特点,将属性与类间的互信息与属性间的互信息结合,提出了一种新的混合互信息的决策树分类算法.在对此算法进行了算法设计和分析的基础上,将由此算法构造的决策树分类方法对入侵规则进行组织,改变了传统的入侵规则逐条串行检测,以增加预处理时间为代价,提高了数据包的过滤速度和准确度.实验分析表明,应用该算法的入侵检测系统比使用传统方法具有更高的准确率和速度.     

基于流中前 5 个包的在线流量分类特征

针对在线流量分类所面临的特征计算复杂和分类性能不稳定问题,利用流开始的前 5 个数据包（排除三次握手数据包）,计算数据包大小、负载大小和到达间隔时间等网络流量的统计特征,通过分析 3 种机器学习算法（C4. 5、BayesNet 和NBTree）分类的结果,研究可用于在线流量分类的特征以及这些特征应该满足的条件。实验结果表明,所提特征计算简单,能快速有效地区分不同的流量,对于不同的机器学习算法,均取得了较高的分类准确率（92%以上）,适用于在线流量分类。     

数据挖掘技术在客户获取策略中的应用

对于客户获取策略中客户反应行为模式分析,从数据挖掘技术的角度可以归结为分类问题·依据组合分类方法的思想,提出一种基于遗传算法的多重决策树组合分类方法来提高分类的准确性和精确度·该组合分类方法将以概率度量水平的多重决策树进行并行组合,采用遗传算法优化连接权值矩阵·在仿真分析中采用二元反应行为模式的客户反馈仿真数据对该组合分类方法进行测试和评估·实验结果表明,在保持分类结果良好可解释性的基础上相比于单个决策树方法,该组合分类方法具有更高的分类精度,并优化了分类规则·     

GIS技术用于电力线路勘测的思路研究

该文针对输电线路径优选的目标,依据多源遥感数据,基于各种地物类型光谱特征知识分析,并结合遥感影像的纹理特征,采用决策树分类算法提取影响输电线路径选择的主要因素。研究结果表明,该分类方法能有效地进行地物分类与识别,特别是综合光谱和纹理信息有效地解决了裸土与居民地的混分现象。同时利用遥感立体像对数据,基于数字摄影测量方法构建了DEM,其精度能够满足输电线路径优选的要求。综合地物和地形多要素作为输电线路径优选的约束条件,采用GIS空间分析方法,实现了输电线路径优选。     

NDVI/NDWI/DEM决策树方法在东莞ALOS影像土地利用分类中的应用

以东莞市2008年的ALOS影像为数据源,通过目视判读选取8类目标地物,并采用最大似然法进行土地利用分类,发现分类精度不高(80%).其主要原因是ALOS数据的有效波段较少,且研究区植被、水体密布,多类目标地物难以区分.针对该问题,结合东莞市的地形地貌特点,引入植被指数NDVI、水体指数NDWI和DEM数据,利用决策树方法进行土地利用分类,使分类精度有较大提高(90%),可有效地解决了因ALOS数据有效波段数较少而产生的分类精度低的问题.本研究表明,在我国南方亚热带地区基于植被指数、水体指数和DEM的改进型决策树分类是一种非常好的ALOS数据土地利用分类方法.     

基于QuickBird数据的输电线路径优选中地表信息提取

针对输电线路径优选的目标,利用QuickBird数据,基于地物类型光谱特征分析,结合遥感影像的纹理特征,采用决策树分类算法,提取影响输电线路径选择的主要地物要素.研究影响输电线选线的相关要素(如居民区、道路、水体等)及其背景地物要素(如耕地、空地等)的光谱特征和纹理特征,确立以4个波段亮度值、归一化植被指数(NDVI)和纹理对比度参数作为特征变量,建立了基于光谱和纹理组合的决策树分类模型,有效地实现居民地、道路和水体信息的提取,并将自适应滤波方法用于分类后处理,优化了分类结果.总体精度由82.09%提高到92.83%,Kappa系数由0.760 8提高到0.904 1.该精度能够满足输电线路径初选优化的要求,为提取影响输电线路径初选地物要素提供了高效快速的技术方法和基础地理数据.     

基于关联度和代价敏感学习的决策树生成法

针对ID3决策树生成法中存在的缺点,通过引用属性关联度和代价敏感学习,提出了一种基于属性关联度和代价敏感学习的决策树生成法。该方法利用粗糙集理论对条件属性进行约减,在构建决策树过程中,把属性的关联程度和性价比作为选择分裂结点的依据,利用改进的信息增益方法构建代价敏感决策树。试验结果表明,该方法在分类准确度和生结点总数量上比常用决策树生成方法优越。     

应用分类贡献函数的决策树构造方法

在构造决策树的过程中,分类属性选择的标准直接影响分类的效果。本文基于粗糙集的理论,提出了在核中应用分类贡献函数来选择分类属性的新方法。利用UCI提供的数据集对该算法和基于信息熵的算法C4.5,以及基于加权平均粗糙度的决策树生成算法相比较。实验证明:用该方法构造的决策树与传统的基于信息熵方法构造的决策树相比较,复杂性低,且能有效提高分类效果。     

贝叶斯分类器集成的增量学习方法

针对基于决策树和神经网络的增量学习算法的过量匹配和分类精度有限的缺点,提出了一种基于贝叶斯分类器集成的增量学习方法.综合朴素贝叶斯的增量分类和集成的增量学习方法,采用随机属性选择训练初始SBC(simple Bayesian classifiers),通过判断是否带有类别标签,将增量样本自动分组,并利用遗传算法对结果进行优化.实验结果表明,贝叶斯分类器集成的增量学习方法有效.