基于混合采样和特征选择的改进随机森林算法研究

随机森林算法是根据Bagging抽样和随机特征子集划分策略,由多棵决策树组成的集成算法.与其他分类算法相比,随机森林算法有更高的分类精度、更低的泛化误差以及训练速度快等特点,因此在数据挖掘领域得到了多方面的应用.然而随机森林算法在分类预测特征维度高且不平衡的数据时,分类性能受到了极大限制.为了更好地处理高维不平衡数据,...     

基于随机森林的不平衡特征选择算法

数据高维不平衡是当前数据挖掘的挑战。针对传统特征选择方法基于类别平衡假设,导致在不平衡数据上效果不理想的问题,利用随机森林内嵌的变量选择机制,构造了一个新的不平衡随机森林特征选择算法IBRFVS。IBRFVS在平衡的取样数据上构造多样决策树,采用交叉验证方式获取单棵决策树的特征重要性度量值。各决策树的权重和特征重要性度量的加权平均决定了最终的特征重要性序列,其中,决策树的权重由该决策树与集成预测的一致性程度决定。在UCI数据集上的随机森林超参数选择和预处理对比验证实验中显示,四种超参数K经验取值中,当K的取值为特征数的平方根时,IBRFVS性能较为稳定且优于传统特征选择算法。     

一种基于投票的不平衡数据分类集成算法

不平衡数据分类是机器学习的研究热点之一。传统的机器学习分类算法通常假定用于训练的数据集是平衡的,不能直接应用于不平衡数据分类。利用朴素贝叶斯和决策树对数据不平衡的敏感度不同,提出一种基于投票的不平衡数据分类集成算法。基分类器选择NB和C4.5,通过投票平均方法进行分类决策;并选择公开的不平衡数据集进行实验验证。实验结果表明,该算法能有效提高不平衡数据的分类性能,特别是对正类(少数类)的误报率较低,具有良好的鲁棒性。     

不平衡数据集的决策树算法

在不平衡数据集中,多数类不一定是最优的,这一问题将会影响决策树的生成效果和分类预测的准确性,提出类置信度比例决策树算法,这种算法对类的大小不敏感.通过实验验证,这种算法比传统的决策树算法更具有优越性.     

大数据环境下的不确定数据流在线分类算法

在大数据环境下,由于隐私保护、数据丢失等原因,数据普遍存在不确定性;数据流系统中数据不断地到达系统,只扫描一遍且不能一次性全部获得;所以要构建一个增量分类模型来处理不确定数据流分类.本文基于VFDT算法提出了WBVFDTu算法,该算法在学习和分类阶段都可快速而有效地分析不确定信息.在学习期间,采用Hoeffding分解定理构造决策树模型;在分类期间,在决策树的叶子节点利用加权贝叶斯分类算法提高模型的分类准确率和算法的执行效率.最终证明该算法能够非常快速地学习不确定数据流,提高分类的准确率.     

基于不平衡数据的公司破产预测研究

整合创新数据预处理技术与集成算法利用不平衡数据探讨了公司破产预测问题。首先，运用冗余信息处理方法、不同抽样方法等对不平衡数据进行预处理。其次，以5.0分类器（Classifier 5.0,C5.0）决策树和单隐层前馈神经网络作为基分类器，分别与三类重抽样数据预处理技术结合，择出最优抽样法。再次，结合自助汇聚法提升分类效果，并运用十折交叉验证的受试者操作特征曲线的下方面积进行评价，对比了两基分类器的集成模型。最后，运用加利福尼亚大学尔湾分校数据库中一万多家波兰制造业公司的实际数据进行实验验证。实验结果表明：欠抽样或人工少数类过采样法与神经网络结合的集成模型分类效果最优，为企业实施破产预测提供积极支撑。     

一种改进的C4.5算法

为了提高C4.5算法的有效性,提出了一种改进的MB-C4.5算法.该算法主要改进了C4.5算法的分枝策略和属性选取的标准.把分类效果较差的分枝合并到分类效果较好的分枝中.引进一个平衡度系数,系数大小由决策者依靠先验知识或领域知识确定.MB-C4.5算法在提高重要属性的选择、减少无意义分枝、过度拟合等方面有一定提高.用该算法构造出的决策树进行分类更为准确、合理.对改进前后的算法用实例进行分析,说明MB-C4.5算法的有效性.     

决策树C4.5算法在森林资源二类调查中的应用

C4.5算法是基于信息熵理论进行数据分类分析的经典决策树数据挖掘算法.它主要包括数据预处理、决策树生成、决策树修剪、决策树规则提取等步骤.笔者将C4.5算法应用于森林资源二类调查的数据分析中,通过对调查数据挖掘分析表明,数据挖掘在森林资源调查数据分析中具有广泛的应用前景.     

数据挖掘中改进的C4.5决策树分类算法

针对传统C4.5决策树分类算法需要进行多次扫描,导致运行效率低的缺陷,提出一种新的改进C4.5决策树分类算法.通过优化信息增益推导算法中相关的对数运算,以减少决策树分类算法的运行时间;将传统算法中连续属性的简单分裂属性改进为最优划分点分裂处理,以提高算法效率.实验结果表明,改进的C4.5决策树分类算法相比传统的C4.5决策树分类算法极大提高了执行效率,减小了需求空间.     

C4.5算法的分析及应用

C4.5算法是进行数据分类分析的经典决策树数据挖掘算法,应用广泛。介绍了决策树及其常用算法ID3,指出了它存在的缺点。分析了C4.5算法,通过其在高校教学决策中的应用实例,说明数据分类并实现预测的过程。最后指出了C4.5算法的不足及未来的研究方向。     

一种改进的决策树学习算法

为提高C4.5算法的准确率引进一个平衡度系数,其大小由决策者依靠先验知识或领域知识确定,在特定环境下人工协调了各属性信息增益率,用改进后的算法构造出的决策树进行分类更为准确、合理.并通过实例分析对改进前后的算法进行了比较,证明改进算法的有效性.     

基于随机森林模型的不平衡大数据分类算法

针对目前不平衡大数据分类算法分类效果较差的问题,提出基于随机森林模型的不平衡大数据分类算法。首先采用SVM(Support Vector Machine)支持向量机算法对不平衡大数据进行信息过滤,然后利用反k近邻法检测并消除离群点,通过增量主成分分析法去掉不平衡大数据中协方差矩阵存在的奇异性,并依据熵值法对其展开权重解析,进而提取不平衡大数据特征信息。将CART(Classification and Regression Trees)决策树当作不平衡大数据的基分类器,进而构建随机森林决策树分类器,最后将提取的不平衡大数据特征信息输入分类器中,实现不平衡大数据分类。实验结果表明,该算法对不平衡大数据的采样效果较好,并且分类精准度、稳定性和性能都较高。     

一种改进的决策树学习算法

本文为提高C4.5算法的准确率引进一个平衡度系数，其大小由决策者依靠先验知识或领域知识确定，在特定环境下人工协调了各属性信息增益率，用改进后的算法构造出的决策树进行分类更为准确、合理。并通过实例分析对改进前后的算法进行了比较，证明改进算法的有效性。     

基于统计学法则的连续属性值划分方法

目前决策树中很多分类算法例如ID3/C4.5/C5.0等都依赖于离散的属性值,并且希望将它们的值域划分到一个有限区间。利用统计学法则,提出一种新的连续属性值的划分方法;该方法通过统计学法则来发现精准的合并区间。另外在此基础上,为提高决策树算法分类学习性能,提出一种启发式的划分算法来获得理想的划分结果.在UCI真实数据集上进行仿真实验.结果表明获得了一个比较高的分类学习精度、与常见的划分算法比较起来有很好的分类学习能力。     

一种面向不平衡分类的改进多决策树算法

在处理不平衡数据集时,为了降低类重叠对分类效果的影响,避免过采样造成的过拟合现象,以及欠采样造成的信息丢失问题,本文提出一种基于欠采样与属性选择的多决策树方法UAMDT(multi-decision tree based on under-sampling and attribute selection)。其首先利用Tomek link欠采样与集成欠采样两种技术相结合对数据进行处理,并获得多个平衡子集;然后在每个平衡子集上构建单决策树,采用结合信息增益和基尼指数的混合属性度量作为属性选择标准,选择最优属性作为每棵单决策树的根节点的分裂属性;最后将单决策树进行集成构建多决策树。通过对10个不平衡数据集的多个评估指标进行实验,验证了本文算法的有效性和可行性。     

基于目标分解的面向对象决策树PolSAR影像分类

为了解决极化合成孔径雷达(Polarization Synthetic Aperture Radar,PolSAR)影像单一分类方法不能充分利用其中的丰富信息问题,结合目标分解理论、面向对象思想和C5.0决策树算法,对PolSAR影像进行多种方式的极化分解,提取包含地物散射机理信息的各种极化参数,并将提取的参数分割为对象,最后,采用C5.0决策树算法进行分类.采用RADARSAT-2全极化SAR数据进行实验,并将分类结果与经典的分类方法进行了对比,证明了本文提出方法的有效性.该成果将在PolSAR影像分类中发挥更大的作用.     

基于误判代价的C5.0算法的优化分析

针对决策树C5.0算法在建模中不同代价值的错误分类没有在建模过程中区别对待,使得模型错误分类代价较高的问题.论文使用误判代价值和代价矩阵以降低高代价错误率,从而实现在模型总体错误率变化不大的情况下,实现C5.0算法所建模型的错误分类代价最小.实验证明优化后的模型在测试数据中高代价错误率从原模型的1.52%降到了0,说明代价矩阵的应用效果非常明显,一般代价错误率也有所下降,低代价错误率基本持平.     

基于模型决策树的AdaBoost算法

AdaBoost算法是一种将多个基学习器通过合理策略结合生成强学习器的集成算法,其性能取决于基学习器的准确率和多样性。但弱学习器分类精度不高往往也导致了最终强分类器性能较差,因此进一步为了提高算法的分类精确率,本文提出一种MDTAda模型,首先利用基尼指数迭代构造一棵不完全决策树,然后在决策树的非纯伪叶结点上添加简单分类器,生成MDT(模型决策树),将MDT作为AdaBoost算法的基分类器,加权平均生成强分类器。在标准数据集上的实验表明,相比传统的AdaBoost算法,本文提出的算法拥有更好的泛化性能和更优的间隔分布,且在与AdaBoost算法达到相同精度时所需迭代次数更少。     

基于蚁群算法的分类规则挖掘

在Ant-Miner算法基础上提出了一种利用蚁群算法解决分类规则挖掘的算法(ACR),设计了合理的蚂蚁选择属性及属性分区的概率公式,并对规则质量的衡量等策略进行改进,可以较好地挖掘分类规则.在标准数据集上通过与Ant-Miner算法和经典的基于决策树的C 4.5算法比较,ACR在挖掘分类规则的简单性、正确率上有较好的表现.     

不均衡数据分类算法的综述

传统的分类方法都是建立在类分布大致平衡这一假设基础上的,然而实际情况中,数据往往都是不均衡的.因此,传统分类器分类性能通常比较有限.从数据层面和算法层面对国内外分类算法做了详细而系统的概述.并通过仿真实验,比较了多种不平衡分类算法在6个不同数据集上的分类性能,发现改进的分类算法在整体性能上得到不同程度的提高,最后列出了不均衡数据分类发展还需解决的一些问题.