基于可信多数投票的快速概念漂移检测

数据流因具有数据持续到达,概念漂移产生时刻无法预测、概念的数量不确定等特征,使得滑动窗口的大小很难事先确定,滑动窗口包含概念的数量对概念漂移检测存在影响.本文提出了基于可信多数投票的快速概念漂移检测算法(CMV_SEA),该算法使用SEA算法中的基分类器淘汰方法,使用可信多数投票实现滑动窗口中基分类器的集成.仿真实验表明:相比于SEA算法,CMV_SEA算法提高了泛化能力;能在新概念产生的第一时间内检测到概念漂移;对概念漂移的检测能力和新概念的学习能力不受滑动窗口大小的影响.     

一种新的选择性支持向量机集成学习算法

针对支持向量机(SVM)在应用于集成学习中会失效的问题,提出一种选择性SVM集成学习算法(SE-SVM),利用ξα误差估计法估计个体SVM泛化性度量,并基于负相关学习理论引入差异性度量,通过递归删除法选择出一组泛化性能优良、相互间差异性大的SVM参与集成学习.基于UCI数据的仿真实验表明,SE-SVM能够平均提高SVM的分类正确率0.4%,比常规的Bag-ging集成学习方法和负相关集成学习方法的分类正确率分别提高了0.24%和0.16%.     

基于粗糙集的决策树集成学习算法

【目的】为提高决策树集成的泛化能力和效率,解决集成全部决策树的情况下有时并不显著提高精度、反而导致额外存储和计算开销的问题,提出一种基于粗糙集的决策树集成学习算法。【方法】该算法基于粗糙集理论,从训练的全部决策树中选择一部分进行集成。【结果】与目前流行的集成学习算法Bagging和Boosting相比,本文提出的算法有效地减小了集成规模,并获得更好的泛化能力。【结论】该算法提高了决策树集成的泛化能力和效率。     

基于集成间隔优化的对海雷达目标识别算法

综合考虑对海雷达目标识别的高实时性和强泛化能力要求,提出一种利用模拟退火算法(SA)进行集成间隔优化的静态选择集成(SSE)算法.该算法首先利用SA基于集成间隔最大化搜索出不同大小的最优基分类器子集,然后利用集成分类精确度从中筛选出最终的集成分类器系统.进而提出一种分类器权值、样本权值的迭代求解算法,并考虑这两类权值以及基分类器的分类置信度,给出了8种集成间隔定义.在自建全极化高分辨率距离像(HRRP)分类数据集和17个UCI数据集上分析了集成间隔定义对集成算法性能的影响,通过对比实验验证了该算法的有效性.     

分类器模拟算法及其应用

针对标准数据集在评估多分类器系统的组合方法时存在的不足,设计了一种新的分类器模拟算法.该算法利用分类器的识别率建立混淆矩阵,由混淆矩阵生成基分类器的决策,进而结合分类器之间的相关性度量生成所有的模拟数据.通过实验评估表明,该算法能够模拟任意多个分类器和任意多个模式类别的数据,且能够表达出分类器之间的关联性.又应用生成的模拟数据集对多数投票和堆叠泛化这2种组合方法进行了实验,结果表明分类器之间的负相关有助于提高系统的性能,特别是当单个分类器识别率取0.8、关联度从0.829 5降至-0.484 7时,多数投票和堆叠泛化的性能分别提高了14.98%和41.99%.     

基于Shapelets的多变量D-S证据加权集成分类

集成学习是分类多变量时间序列的有效方法.然而集成学习对基分类器性能要求较高,基分类器组合算法优劣对分类效果影响较大.为此,提出一种基于Shapelets的多变量D-S(Dempster/Shafer)证据加权集成分类方法.首先,在单变量时间序列上学习得到基分类器Shapelets,基分类器的分类准确率确定为其在多分类器的权重.Shapelets是时间序列的子序列,不同变量Shapelets间不存在依赖关系,且单个Shapelets分类准确度较高,能得到“好而不同”的基分类器.然后,提出一种加权概率指派算法,增加分类准确率高的基分类器权重,减少分类准确率低的基分类器权重;添加了2个组合策略,即消除证据冲突,又提高了效率.在标准数据集上与多个最新算法进行比较,笔者算法取得了较好的分类结果.     

用于木马流量检测的集成分类模型

针对传统集成学习方法运用到木马流量检测中存在对训练样本要求较高、分类精度难以提升、泛化能力差等问题,提出了一种木马流量检测集成分类模型。对木马通信和正常通信反映在流量统计特征上的差别进行区分,提取行为统计特征构建训练集。通过引入均值化的方法对旋转森林算法中的主成分变换进行改进,并采用改进后的旋转森林算法对原始训练样本进行旋转处理,选取朴素贝叶斯、C4.5决策树和支持向量机3种差异性较大的分类算法构建基分类器,采用基于实例动态选择的加权投票策略实现集成并产生木马流量检测规则。实验结果表明:该模型充分利用了不同训练集之间的差异性以及异构分类器之间的互补性,在误报率不超过4.21%时检测率达到了96.30%,提高了木马流量检测的准确度和泛化能力。     

基于边际的组合分类器选择算法

研究表明,具有较大边际分别的组合分类器泛化性能更高.根据该结论,论文构造了一个新的基于边际的度量指标(MM)以充分考虑基分类器和组合分类器的分类能力,进而提出了一种新的组合分类器选择方法.该方法初始化组合分类器为空(或满),迭代的加入(或移除)具有最大(或最小)MM值的分类器,以降低组合分类器规模并提高它的分类准确率.在随机选择的24个UCI数据集上的实验表明,与其他一些高级的贪心组合选择算法相比,该方法具有更好的泛化能力.     

改进随机子空间与决策树相结合的不平衡数据分类方法

提出一种改进随机子空间与C4.5决策树算法相结合的分类算法.以C4.5算法构建决策树作为集成学习的基分类器,每次迭代初始,将SMOTE采样技术与随机子空间方法相结合,生成在特征空间和数据分布上差异明显的合成样例,为基分类器提供多样化的平衡训练数据集,采用绝大多数投票方法进行最终决策的融合输出.实验结果表明,该方法对少数类和多数类均具有较高的识别率.     

负相关算法在模拟电路故障诊断中的应用

传统的BP神经网络泛化能力较差,易于陷入局部最优。为此,提出并将基于负相关学习法的神经网络集成应用于模拟电路故障诊断的研究。实验结果表明基于负相关学习法的神经网络集成比单个子网和传统神经网络集成更能有效地泛化能力。     

基于改进Fisher准则与极限学习机集成的图像隐写分析

集成分类器是目前图像隐写分析中广泛使用的分类器。针对集成分类器中基分类器受离群样本影响较大,集成策略效果不佳的缺点,提出一种基于改进Fisher准则与极限学习机集成的图像隐写分析算法。首先,通过重新定义类内散度矩阵以提高Fisher准则模型的准确性,之后基于改进的Fisher准则并使用Bagging算法训练若干基分类器,最后使用极限学习机作为元分类器来建立基分类器集合与正确决策之间的联系。实验结果表明,在不同的隐写算法与嵌入率的条件下,与传统集成分类器和基于选择性集成的集成分类器相比,所提算法降低了3.5%与1.8%的检测错误率,说明能够有效提高集成分类器的检测精度。     

基于模型决策树的AdaBoost算法

AdaBoost算法是一种将多个基学习器通过合理策略结合生成强学习器的集成算法,其性能取决于基学习器的准确率和多样性。但弱学习器分类精度不高往往也导致了最终强分类器性能较差,因此进一步为了提高算法的分类精确率,本文提出一种MDTAda模型,首先利用基尼指数迭代构造一棵不完全决策树,然后在决策树的非纯伪叶结点上添加简单分类器,生成MDT(模型决策树),将MDT作为AdaBoost算法的基分类器,加权平均生成强分类器。在标准数据集上的实验表明,相比传统的AdaBoost算法,本文提出的算法拥有更好的泛化性能和更优的间隔分布,且在与AdaBoost算法达到相同精度时所需迭代次数更少。     

神经网络动态集成技术及其应用

针对当前神经网络集成方法在提高泛化能力方面的不足,提出了神经网络动态集成技术。该技术首先对神经网络集成中的个体之间进行负相关处理提高个体的差异度,然后选择训练误差较小的个体来提高个体的精确度。最后,以广东省某市的宏观经济数据为例,证明了该技术的有效性。     

智能车辆在城区交通场景中的多类障碍物识别

针对智能车辆在城区交通场景中的前向障碍物识别,提出了一种基于集成学习改进的二叉树支持向量机(BT-SVM)的多类分类方法。根据城区交通场景中各类障碍物的出现概率、模式类别差异,设计了适用于智能车辆障碍物识别的BT-SVM树型结构;对每个节点分类器,采用AdaBoost集成学习方法进行改进,有效减少了差错积累误差,提高了分类精度和泛化能力。试验表明该方法能有效地对城区交通场景中6类常规障碍物模式进行实时在线识别。     

改进的集成神经网络学习优化研究

AdaBoosting算法是一种集成学习算法，用来提高不稳定学习器的泛化能力．本文基于神经网络是一种不稳定分类器的机理结合最小二乘算法和遗传算法，提出了对集成神经网络分类器权值进行优化的新方法．     

集成学习在电网假数据入侵检测中的应用

人工智能和机器学习的发展为入侵电网数据采集与监视控制(supervisory control and data ac-quisition,SCADA)系统的虚假数据检测,提供了新的高效解决方案.目前,针对运用机器学习中的单分类器对电网中虚假数据的检测,出现的准确率低、误检率高、模型区分能力差等问题,提出了一种基于集成学...     

Support Vector Machine Ensemble Based on Genetic Algorithm

Support vector machines （SVMs） have been introduced as effective methods for solving classification problems. However, due to some limitations in practical applications, their generalization performance is sometimes far from the expected level. Therefore, it is meaningful to study SVM ensemble learning. In this paper, a novel genetic algorithm based ensemble learning method, namely Direct Genetic Ensemble （DGE）, is proposed. DGE adopts the predictive accuracy of ensemble as the fitness function and searches a good ensemble from the ensemble space. In essence, DGE is also a selective ensemble learning method because the base classifiers of the ensemble are selected according to the solution of genetic algorithm. In comparison with other ensemble learning methods, DGE works on a higher level and is more direct. Different strategies of constructing diverse base classifiers can be utilized in DGE. Experimental results show that SVM ensembles constructed by DGE can achieve better performance than single SVMs, hagged and boosted SVM ensembles. In addition, some valuable conclusions are obtained.     

基于粒子群优化算法的并行学习神经网络集成构造方法

为了提高神经网络集成中个体网络的差异性,并减少将集成用于预测时的计算量,本文结合粒子群优化算法和个体网络的并行学习机制,提出了一种基于粒子群优化的并行学习神经网络集成构造方法。实验表明,和传统的集成构造方法相比,该构造方法具有比较好的性能。