决策树算法中的连续属性处理方法

决策树是分类数据挖掘的重要方法.C4.5算法延用了经典ID3算法的基本策略,增加了处理连续属性的方法.在C4.5算法的基础上,讨论了新的基于属性变换的连续属性处理方法.该方法基于统计概率信息,依据概率属性的最佳分裂对应分裂连续属性,增加了决策树的分类精度.     

数据挖掘中改进的C4.5决策树分类算法

针对传统C4.5决策树分类算法需要进行多次扫描,导致运行效率低的缺陷,提出一种新的改进C4.5决策树分类算法.通过优化信息增益推导算法中相关的对数运算,以减少决策树分类算法的运行时间;将传统算法中连续属性的简单分裂属性改进为最优划分点分裂处理,以提高算法效率.实验结果表明,改进的C4.5决策树分类算法相比传统的C4.5决策树分类算法极大提高了执行效率,减小了需求空间.     

基于频繁模式树的关联分类规则挖掘算法

构建精确而有效的分类器是数据挖掘和机器学习中的一个重要任务．提出了一种基于频繁模式树的关联分类规则挖掘算法，该算法同时考虑所有属性，并对现有关联分类规则挖掘算法中内存要求高、类别属性处理难、I／O访问次数多等问题提出了相应的解决方案．试验结果表明，该方法可以取得比同样基于关联规则的分类算法CMAR更高的执行效率以及基于规则的决策树分类算法C4．5更好的分类效果．     

基于Rough集的决策树算法

针对基于Rough集的经典分类算法值约简算法等不适合大数据集的问题，提出了基于Rough集的决策树算法。采用一个新的选择属性的测度——属性分类粗糙度作为选择属性的启发式，该测度较Rough中刻画属性相关性的测度正区域等更为全面地刻画了属性分类综合贡献能力，并且比信息增益和信息增益率的计算更为简单。采取了一种新的剪枝方法——预剪枝，即在选择属性计算前基于变精度正区域修正属性对数据的初始划分模式，以更有效地消除噪音数据对选择属性和生成叶节点的影响．采取了一种与决策树算法高度融合的简单有效的检测和处理不相容数据的方法，从而使算法对相容和不相容数据都能进行有效处理。对UCI机器学习数据库中几个数据集的挖掘结果表明，该算法生成的决策树较ID3算法小，与用信息增益率作为启发式的决策树算法生成的决策树规模相当。算法生成所有叶节点均满足给定最小置信度和支持度的决策树或分类规则，并易于利用数据库技术实现，适合大数据集。     

基于决策树的网络流量分类方法

针对传统流量分类方法(基于端口和有效载荷)分类不可靠的问题,提出基于C4.5决策树算法,根据训练集中属性的信息增益比率构建分类模型,按属性对测试数据集进行预测,通过查找分类模型实现对网络流量的分类。在公开数据集和自己采集的数据集上进行实验,结果表明,采用C4.5决策树算法对网络流量分类,平均分类精度为93%,单类别分类精度均在90%以上,能有效地实现对网络流量应用类型的识别。     

基于关联度和代价敏感学习的决策树生成法

针对ID3决策树生成法中存在的缺点,通过引用属性关联度和代价敏感学习,提出了一种基于属性关联度和代价敏感学习的决策树生成法。该方法利用粗糙集理论对条件属性进行约减,在构建决策树过程中,把属性的关联程度和性价比作为选择分裂结点的依据,利用改进的信息增益方法构建代价敏感决策树。试验结果表明,该方法在分类准确度和生结点总数量上比常用决策树生成方法优越。     

基于信息熵的ID3分类算法的研究

ID3分类算法无法处理连续性数据并且在选择分裂属性时明显倾向于取值多的属性,无法产生准确的规则.基于信息熵的连续数据离散化预处理技术有效地拓展了ID3算法的应用领域,并提出了基于信息增益率的分裂属性选择方法 ,样例数据测试结果 分析表明:该分类算法改正了在选择分裂属性时明显倾向于取值多的属性的缺陷,提高了分类的精度.     

基于粗糙集决策树优化研究

决策树分类方法是一种有效的数据挖掘分类方法.单变量决策树结构简单,但规模较大.多变量决策树是为了进一步缩减树的规模而提出的决策树结构,通过选取属性的合理组合作为分裂属性,可使树的规模相对较小.文章在对以往所提出的混合变量决策树算法RSH2的抗噪性差和属性被多次选取等问题进行改进的基础上,提出了基于粗糙集的多变量决策树算法VPMDT.通过与ID3、HACRs、RSH2和C4.5等算法进行的实验比较表明,VPMDT有较好的时空性能,并保持较高的分类预测正确率.     

基于信息熵的ID3分类算法的研究

ID3分类算法无法处理连续性数据并且在选择分裂属性时明显倾向于取值多的属性，无法产生准确的规则。基于信息熵的连续数据离散化预处理技术有效地拓展了ID3算法的应用领域，并提出了基于信息增益率的分裂属性选择方法，样例数据测试结果分析表明：该分类算法改正了在选择分裂属性时明显倾向于取值多的属性的缺陷，提高了分类的精度。     

一种改进的基于粗糙集理论的决策树分类算法

提出一种基于粗糙集理论的决策树分类算法.首先,将核属性集中的核属性进行合取后加入析取变换,实现属性约简;其次,在决策树构造阶段,对各条件属性分别求其上下近似集,进而得到各属性的近似精度.选择近似精度最大的属性作为决策树的根结点,以此方法递归应用到各子树上来选择决策树的结点并实现决策树的剪枝.实例分析表明,改进的算法提高了决策树方法的效率.     

一种基于Rough集的海量数据属性约简方法

海量数据属性约简的研究是数据挖掘研究中的一个难点.已有的许多属性约简算法对于空间复杂度考虑得不够,导致了算法不能适应大数据集的约简处理.结合分治法,在给定属性序下,提出了基于分治策略的属性约简算法.利用该算法可以快速得到海量数据的属性约简结果.仿真实验结果说明了该算法的高效性.     

一种基于Rough集的海量数据属性约简方法

海量数据属性约简的研究是数据挖掘研究中的一个难点。已有的许多属性约简算法对于空间复杂度考虑得不够,导致了算法不能适应大数据集的约简处理。结合分治法,在给定属性序下,提出了基于分治策略的属性约简算法。利用该算法可以快速得到海量数据的属性约简结果。仿真实验结果说明了该算法的高效性。     

决策树C4.5连续属性分割阈值算法改进及其应用

结合Fayyad边界点原理提出一种新的连续值属性最佳分割阈值的选择算法.根据Fayyad连续值属性的最佳分割点总在边界点处的原理,只在连续属性分界点处的少数几个分割点中选择最佳分割阈值.构造并训练了改进C4.5分类器,将其应用于视频序列中的人车目标识别.实验结果表明:改进C4.5算法的计算量减少近20％,大大提高了决策树的生成效率,分类准确率也略有提高.     

一种基于属性重要性的属性约简启发式算法

属性约简是粗糙集理论研究中的关键问题之一.文中定义了一种新的属性重要性度量准则,克服了多值偏向性问题,并给出一种新的属性约简算法.该算法以核属性集为初始约简集合,以新的属性重要性度量准则为启发信息,通过逐步加入相对于决策而言重要的条件属性来求取最小约简.实例分析表明该算法是有效的.     

一种新的启发式属性约简算法

为解决属性约简的诸多问题,比如基于信息熵的属性约简方法偏向多值属性的缺点,而基于属性相似度的属性约简方法偏向少值属性的不足,现提出一种将信息熵和属性相似度结合起来的新的启发式属性约简方法.实验结果表明,避免了上述两种属性约简算法的偏向性.     

决策树在配置命令相关性中的应用研究

配置命令的无关联性在进行网络设备的配置时常常容易导致错误.本文通过决策树C4.5算法构造各种配置的决策树,并从中提取有价值的配置命令的分类信息和规则.在提取规则时引入属性相关矩阵老考虑命令之间的联系,并以此进行二次化简.     

一种求解属性约简优化的协同粒子群算法

针对粗糙属性约简优化问题,利用粒子群寻求最优解的优势,提出一种改进的粗糙集属性约简优化的协同粒子群算法(AR-CPSO)。在最优属性寻求过程中,该算法使粒子群在属性空间通过约简集向量的分解和邻域簇的协同学习提高其寻优能力,并利用自适应约束强化罚函数较好地收敛到最优目标属性约简集。该算法能始终保持种群的多样性、协作性,并避免过早地陷入局部最优。相关仿真实验表明,AR-CPSO算法能有效地找到全局最优属性约简集,具有较强的属性协同约简优化性能。     

基于信息熵的商业银行客户画像属性约简研究

客户画像是商业银行近年来的研究热点,从高维复杂的客户数据中筛选出有效属性是客户画像中的关键问题.为解决商业银行客户画像过程中,由于银行客户数据维度较高,难以实现精准画像的问题,在对客户数据进行聚类分析的基础上,结合粗糙集理论和信息熵理论,对商业银行投资客户画像属性进行了约简,并提出了属性约简算法,结果表明,该算法能够对...