一种基于Boosting的油田水淹层识别算法

油田水淹级别的判定对于寻找剩余油、提高油田开发水平和稳油控水效果至关重要.本文提出了一种基于Boosting的C4.5决策树算法用于油田水淹层识别.实验结果表明,相比单一的C4.5决策树,经Boosting算法提升后的集成C4.5分类器具有较高的识别率和泛化能力,具有较高的应用推广价值.     

数据挖掘中改进的C4.5决策树分类算法

针对传统C4.5决策树分类算法需要进行多次扫描,导致运行效率低的缺陷,提出一种新的改进C4.5决策树分类算法.通过优化信息增益推导算法中相关的对数运算,以减少决策树分类算法的运行时间;将传统算法中连续属性的简单分裂属性改进为最优划分点分裂处理,以提高算法效率.实验结果表明,改进的C4.5决策树分类算法相比传统的C4.5决策树分类算法极大提高了执行效率,减小了需求空间.     

数据挖掘中决策树分类方法研究

分类知识的获取是数据挖掘所要实现的重要任务之一,其核心问题是解决分类模型的构造和分类算法实现问题.本文以决策树分类方法中有代表性的方法C4.5为例介绍数据挖掘中的一种分类模式:基于决策树方法的分类器的构建方法和算法.     

基于随机森林的文本分类模型研究

随着WWW的迅猛发展，文本分类成为处理和组织大量文档数据的关键技术.随机森林模型是决策树的集成，并且由一随机向量决定决策树的构造. 当森林中决策树的数目增大，随机森林的泛化误差将趋向一个上界.将随机森林模型应用于文本分类,在Reuter21578数据集上的实验表明，分类效果比较好，性能比较稳定，将其同C4.5, KNN, SM0, SVM 4种典型的文本分类器进行了比较，结果显示它的分类性能胜于C4.5，同KNN, SMO和SVM方法相当.     

数据挖掘中决策树分类方法研究

分类知识的获取是数据挖掘所要实现的重要任务之一 ,其核心问题是解决分类模型的构造和分类算法实现问题。本文以决策树分类方法中有代表性的方法 C4.5为例介绍数据挖掘中的一种分类模式 :基于决策树方法的分类器的构建方法和算法。     

一种基于决策树的多示例学习算法

提出了一种基于决策树C4.5的多示例学习算法C4.5-MI,通过拓展C4.5的熵函数和信息增益比来适应多示例学习框架.应用梯度提升方法对C4.5-MI算法进行优化,得到效果更优的GDBT-MI算法.与同类决策树算法在benchmark数据集上进行比较,结果表明,C4.5-MI和GDBT-MI算法具有更好的多示例分类效果.     

采用口袋算法构造的多类别 决策树模型

采用开放应用架构(OAA)准则训练多个二分类感知机,以Gini指数筛选最优的方法构建二叉决策树.推算说明感知机多分类准则在每个树节点上对空间划分的局限性,将基于口袋算法的二叉树与多叉树在8个UCI数据集上进行比较,并与单变量决策树CART和C4.5的结果进行对照.结果表明:采用口袋算法基于OAA方法构建的二叉树,在准确率和空间划分的可解释性上优于基于经典多分类准则构建的多叉树.     

决策树算法及其改进

该文对传统的C 4.5决策树数据挖掘算法进行了改进,提出了一种双重熵平均决策树算法。传统的C 4.5决策树算法易出现无意义分枝,过度拟合等问题,针对该类问题,基于双重熵平均决策树算法,通过两次对样本子集熵平均值的计算、排序、合并处理,得到修正后的属性信息增益,并以此作为属性选择的依据,从而解决了传统C 4.5决策树算法可解释性差、易产生碎片等问题。     

一种基于投票的不平衡数据分类集成算法

不平衡数据分类是机器学习的研究热点之一。传统的机器学习分类算法通常假定用于训练的数据集是平衡的,不能直接应用于不平衡数据分类。利用朴素贝叶斯和决策树对数据不平衡的敏感度不同,提出一种基于投票的不平衡数据分类集成算法。基分类器选择NB和C4.5,通过投票平均方法进行分类决策;并选择公开的不平衡数据集进行实验验证。实验结果表明,该算法能有效提高不平衡数据的分类性能,特别是对正类(少数类)的误报率较低,具有良好的鲁棒性。     

基于Rough Sets-C4.5的故障征兆提取与判别

针对原始信息系统往往存在大量重复样本和冗余属性,从而影响实际故障诊断的精度和速度这一问题,介绍了一种基于粗糙集和决策树C4.5算法相融合的故障诊断模型,用于设备的精确和快速故障诊断.利用粗糙集具有较强的处理不确定和不完备信息的能力,对原始样本集进行离散化及约简处理;同时,利用决策树C4.5算法对约简后的决策表进行快速学习并形成树状故障分类器.以实例介绍了利用该模型进行故障诊断的完整过程.     

基于模型决策树的AdaBoost算法

AdaBoost算法是一种将多个基学习器通过合理策略结合生成强学习器的集成算法,其性能取决于基学习器的准确率和多样性。但弱学习器分类精度不高往往也导致了最终强分类器性能较差,因此进一步为了提高算法的分类精确率,本文提出一种MDTAda模型,首先利用基尼指数迭代构造一棵不完全决策树,然后在决策树的非纯伪叶结点上添加简单分类器,生成MDT(模型决策树),将MDT作为AdaBoost算法的基分类器,加权平均生成强分类器。在标准数据集上的实验表明,相比传统的AdaBoost算法,本文提出的算法拥有更好的泛化性能和更优的间隔分布,且在与AdaBoost算法达到相同精度时所需迭代次数更少。     

分类器模拟算法及其应用

针对标准数据集在评估多分类器系统的组合方法时存在的不足,设计了一种新的分类器模拟算法.该算法利用分类器的识别率建立混淆矩阵,由混淆矩阵生成基分类器的决策,进而结合分类器之间的相关性度量生成所有的模拟数据.通过实验评估表明,该算法能够模拟任意多个分类器和任意多个模式类别的数据,且能够表达出分类器之间的关联性.又应用生成的模拟数据集对多数投票和堆叠泛化这2种组合方法进行了实验,结果表明分类器之间的负相关有助于提高系统的性能,特别是当单个分类器识别率取0.8、关联度从0.829 5降至-0.484 7时,多数投票和堆叠泛化的性能分别提高了14.98%和41.99%.     

结合类属特征及因果发现的序列优化分类器链

分类器链是利用标签间相关性实现挖掘特定对象多维标记信息的重要多标签分类方法.面向现有分类器链算法，针对各标签的基学习器均在完整特征空间中训练导致学习特征冗余，以及因标签学习顺序随机且分类器链训练过程单向无反馈导致的标签间相关信息利用不充分等问题，本文提出一种结合类属特征及因果发现的序列优化分类器链.该方法采用类内仿射传播聚类为每个基学习器构建高级结构化特征，减少冗余信息；利用条件熵准则挖掘标签间因果关系，优化学习序列提高对标签间相关信息的利用程度.在多个公开数据集的实验结果表明，序列优化分类器链有效增强了单节点学习效果以及对多标签间关联信息的利用，有效提升了多标签分类效果，实用价值高.      

基于主从模式的并行决策树算法研究

针对对等模式下并行决策树分类算法的通信开销太大,提出了一种基于主从模式的FPM_DT并行决策树挖掘算法,此算法综合使用了横向与纵向的数据划分模型,并采用根据分支数据分布情况进行结点分组的策略.实验结果表明,它与对等模式下并行SPRINT分类算法相比,降低了通信开销,具有更好的可扩展性与加速比性能.     

基于机器学习的边缘检测方法研究

传统的边缘检测方法具有一定的局限性,且自适应能力差,提出一种基于机器学习的边缘检测方法来解决上述问题.实验图像从伯克利图像数据库中选取,以Harr和梯度直方图(HoG)构成特征空间,将AdaBoost算法和决策树算法相结合进行分类器训练.实验结果表明,机器学习的边缘检测算法有更高的分类准确率.     

以相关性确定条件属性的概化决策树

在介绍了一些典型决策树分类算法的基础上,研究了一种基于相关性分析的决策树分类器。其主要思想是通过属性相关性来压缩训练集的大小并在建立决策树过程中采用此度量值来确定划分条件属性的顺序,通过阈值设定和处理简化了决策树的剪枝和优化过程,提高了处理的效率和规模。文章详细描述了算法的执行过程以及正确性证明和时间复杂性分析。     

采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

异构集成学习中的观察学习机制研究

集成学习是提高分类精度的一种有效途径,已在许多领域显示出其优于单个分类器的良好性能。观察学习是一种基于社会学习理论的集成学习方法,以往对其研究集中于同构模式。在此提出了基于异构模式的观察学习策略,通过训练、观察、再训练三个阶段完成学习。在UCI标准数据集上对异构环境下的观察学习算法进行了实验研究。结果表明,该方法优于多数投票法和单个分类算法,其对弱分类器组成的分类器集合尤其有效。从偏差/方差分解的角度对观察学习提高分类性能的原因进行了论证,结果表明,观察学习算法既可以降低偏差,也可以降低方差。     

基于非线性拟合方程的多变量决策树算法

根据数据属性间存在的线性相关和非线性相关影响决策树性能的特点,提出了一种用拟合回归建立决策树的算法,并利用这种相关性来提高分类能力.该算法选择了一个较优的属性子集,对此子集中的属性进行加权组合,用于构造决策树的节点,采用二次多项式来拟合两个属性间可能存在的相关性,从而构造出分类能力更强的决策树.研究中用UCI标准数据集对各种算法进行测试及比较,实验结果及分析表明此决策树算法具有良好性能.     

一种新的多视角背景下人脸检测方法

针对实际生活中普遍存在的多视角、多人脸检测问题,提出了一种新的分类器训练方法及人脸检测的解决方案;首先采用NPD差分特征对人脸特征进行描述,NPD特征通过判断两个像素值间相对差异对人脸进行描述,其特征值可从二维表直接获取,能大大节省训练时间;同时提出了一种深度二叉特征树结构来训练分类器,可有效结合特征间的关联性,将训练得到分类器与肤色算法相结合来提高检测速度;通过在CMU人脸数据库上对所提出算法进行验证,仿真结果证明在多人脸、多视角检测背景环境下,该算法较Ada Boost算法在检测率提高了8.7%,误检率降低了4.1%,检测速度提高了27.7%。