SVM集成研究与应用

集成学习是机器学习的重要研究方向之一,SVM集成近年来已经受到国内外很多从事机器学习、统计学习的研究者们的重视,并使得该领域成为了一个相当活跃的研究热点。对近年来SVM集成的研究与应用进行了综述,讨论了SVM集成需要解决的基本问题;讨论分析了构造差异性大的集成成员SVM的方法、有效的集成结论生成方法、SVM集成的典型应用;指出了目前存在的问题、以及几个重要的研究方向。     

位平面分解的人脸识别集成方法研究

研究了基于集成技术的人脸识别,主要包括集成个体分类器的生成与分类结果的融合.为了提高分类器个体间的差异性,通过位平面分解及移动窗口技术生成基分类器,然后对所分解模式的各层进行融合,以确定最后的决策,这些融合方法包括乘法规则、和规则、多数投票规则、最大值规则、最小值规则与中值规则.另外,针对ORL数据库,实验研究了不同融合方法的人脸识别的性能,并对不同的人脸识别方法的性能进行了比较.结果表明,在基于位平面分解的人脸识别集成方法中,应用和规则的融合方法,其性能也优于其他的人脸识别方法.     

集成学习中特征选择技术

集成学习和特征选择是当前机器学习领域中的研究热点.集成学习通过重复采样可产生个体学习器之间差异度,从而提高个体学习器的泛化能力,特征选择应用到集成学习可进一步提高集成学习技术的效果,该研究有3个方面：数据子集的特征选择、个体学习器的选择和多任务学习.该文对近几年集成学习中特征选择技术的研究进行回顾,尤其对以上3个方面的研究分别进行总结,提出一些共性的技术指导以后的研究.     

基于模糊划分的神经网络集成

基于模糊聚类思想,提出了一种神经网络集成方法.由训练数据的模糊聚类结果,把训练数据划分成相交子集,基于各子集生成集成的个体神经网络.由于各子集所包含的数据和数据的类别各不相同,因而个体神经网络性能和结构存在差异.子集个数确定集成中个体神经网络个数.另外,基于隶属度函数计算公式,提出了个体神经网络输出结论结合方法.理论分析和实验结果表明,此方法对模式分类能取得较好的效果.     

SVMENCL:一种入侵检测的新方法

在入侵检测中使用单个的支持向量机容易因"单点失效"而危害系统安全.提出一种基于支持向量机集成的方法来进行入侵检测.它采用负相关学习技术,在误差项中使用相关性惩罚因子使得生成的分类器有更好的多样性和精度;算法采用进化策略来自动地确定个体支持向量机的超参数,避免了需要了解问题的先验知识;最后,采用集成技术来组合个体支持向量机的检测结果.仿真实验表明这一方法有更好的检测性能,并且这种分布式并行检测方法有利于增加入侵检测系统的鲁棒性.     

神经网络紧凑集成模式

在分析现有神经网络集成构造过程的基础上，提出了一种神经网络紧凑集成模式，集成中成员网络的训练和网络组合权重的优化在同一个学习过程中进行，各参数的调整以提高集成泛化性能为目的．与现有神经网络集成模式相比，集成构造过程更加紧凑，它将个体网络生成阶段与结论合成阶段合二为一，并且网络之间的信息交互建立在实时动态的集成结构基础上，保证了成员网络训练与结论合成之间信息传递的始终一致性．为验证该模式的有效性及优越性，采用4种典型的分类数据集对神经网络紧凑集成模式与CNNE、Bagging、Boosting等现有的集成模式在泛化性能上进行了比较，结果表明神经网络集成模式在测试数据集上的错误率降低了8％～16％．     

基于相空间重构和非参数神经网络集成股市预测研究

利用奇异谱分析方法对股市时间序列重构，降低噪声并提取趋势序列，并利用C-C算法确定嵌入为维数和延迟阶数进行相空间重构，生成神经网络的学习矩阵，进一步利用Boosting技术和不同的神经网络模型，生成神经网络集成个体，最后采用非参数回归模型进行集成，建立多元变窗宽高斯核函数的非参数回归的神经网络集成模型，以此建立股市预测...     

集成学习方法:研究综述

机器学习的求解过程可以看作是在假设空间中搜索一个具有强泛化能力和高鲁棒性的学习模型,而在假设空间中寻找合适模型的过程是较为困难的.然而,集成学习作为一类组合优化的学习方法,不仅能通过组合多个简单模型以获得一个性能更优的组合模型,而且允许研究者可以针对具体的机器学习问题设计组合方案以得到更为强大的解决方案.回顾了集成学习的发展历史,并着重对集成学习中多样性的产生、模型训练和模型组合这三大策略进行归纳,然后对集成学习在现阶段的相关应用场景进行了描述,并在最后对集成学习的未来研究方向进行了分析和展望.     

基于遗传算法神经网络集成股票市场预测研究

神经网络集成技术能有效地提高神经网络的学习能力和泛化能力,已经成为机器学习和神经计算领域的一个研究热点.本文利用不同的神经网络算法产生神经网络集成个体,以误差平方和最小为准则,用遗传算法动态求解集成个体的非负权重系数,进行最优组合集成建模研究,并以此建立股市预测模型.通过上证指数开盘价、收盘价进行实例分析,计算结果表明该方法相对传统的简单平均集成模型,具有预测精度高、稳定性好,易于操作的特点.     

神经网络分类器动态集成方法

提出一种神经网络分类器的动态集成方法.基于bootstrapping构建不同的个体神经网络,针对混合属性,通过不同的加权最近邻设计评估单个网络的分类精度,在此基础上动态选择误差率较小的神经网络,经过投票形成集成分类结果.将该方法与其它几种集成方法在10个UCI数据集上进行了分类性能比较.实验结果表明,该方法在上述所有数据集上的平均分类精度最佳,同时发现,Bagging比隐层神经元数法能更好地生成个体网络,而将两者结合起来训练个体神经网络,并不能明显提高集成性能.     

基于集成学习的束支传导阻滞识别方法

为提升基于心电图的左、右束支传导阻滞自动化诊断性能,提出了一种以多导联心电图卷积神经网络模型作为基学习器的集成学习诊断方法.首先从临床12导联同步静态心电图中提取出有效诊断导联数据并分割为若干个多导联单心搏数据切片.采用自助采样法抽取多个数据子集,并对每个子集以不同方式进行数据扰动后输入基学习器,得到相应的预测模型.然后以贝叶斯方法作为集成学习的结合策略融合多个模型进行预测.最后采用投票法结合1例心电图中的多个心搏分类结果给出诊断.实验结果表明,该方法具有较高的灵敏度和特异度,具有临床应用价值.     

Support Vector Machine Ensemble Based on Genetic Algorithm

Support vector machines （SVMs） have been introduced as effective methods for solving classification problems. However, due to some limitations in practical applications, their generalization performance is sometimes far from the expected level. Therefore, it is meaningful to study SVM ensemble learning. In this paper, a novel genetic algorithm based ensemble learning method, namely Direct Genetic Ensemble （DGE）, is proposed. DGE adopts the predictive accuracy of ensemble as the fitness function and searches a good ensemble from the ensemble space. In essence, DGE is also a selective ensemble learning method because the base classifiers of the ensemble are selected according to the solution of genetic algorithm. In comparison with other ensemble learning methods, DGE works on a higher level and is more direct. Different strategies of constructing diverse base classifiers can be utilized in DGE. Experimental results show that SVM ensembles constructed by DGE can achieve better performance than single SVMs, hagged and boosted SVM ensembles. In addition, some valuable conclusions are obtained.     

基于Shapelets的多变量D-S证据加权集成分类

集成学习是分类多变量时间序列的有效方法.然而集成学习对基分类器性能要求较高,基分类器组合算法优劣对分类效果影响较大.为此,提出一种基于Shapelets的多变量D-S(Dempster/Shafer)证据加权集成分类方法.首先,在单变量时间序列上学习得到基分类器Shapelets,基分类器的分类准确率确定为其在多分类器...     

采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

基于集成学习的用户信用卡违约预测模型研究

用户信用卡违约预测任务有助于银行等金融机构平衡经济风险与经济利益,对于银行信用卡业务的风险管控具有重要作用。针对用户信用卡违约预测问题,提出了一种基于集成学习的预测模型,有异于传统集成学习中的弱学习器。该模型采用集成模型和神经网络模型作为基学习器,从而提升模型整体的预测效果。首先通过预处理提取用户信用卡数据集的相关特征,然后分别采用优化后的决策树、随机森林、GBDT、XGBoost、CatBoost和SPE六种机器学习模型与神经网络模型进行并行训练和预测,最后通过加权软投票法集成基学习器结果并输出最终预测结果。结果表明,相对于基学习器,该模型在各项评估指标上均有所提升,且拥有更好的模型泛化能力。     

面向复合材料带隙预测的两段式集成学习模型构建

带隙是钙钛矿型复合氧化物材料重要的特征参数, 对材料的物理化学性质起决定性作用, 如导电性能和光电性能等. 为了寻找适合不同应用领域的钙钛矿型材料, 利用机器学习进行带隙预测是一种重要的研究手段. 构建了一个两阶段异质集成学习模型, 在第一阶段使用多种不同的基础机器学习器(回归模型)进行预测; 在第二阶段把对预测结果影响较大的描述子和基础机器学习器进行集成学习.利用该模型对 210 种钙钛矿型复合氧化物材料的带隙进行预测, 并与多种独立的机器学习算法以及不同集成策略模型的预测性能相对比, 评估了本模型的预测性能. 结果表明, 这种两段式的集成学习模型能够更好地学习到材料数据的内在关系, 并具有较好的预测效果和较强的泛化能力.     

基于改进Fisher准则与极限学习机集成的图像隐写分析

集成分类器是目前图像隐写分析中广泛使用的分类器。针对集成分类器中基分类器受离群样本影响较大,集成策略效果不佳的缺点,提出一种基于改进Fisher准则与极限学习机集成的图像隐写分析算法。首先,通过重新定义类内散度矩阵以提高Fisher准则模型的准确性,之后基于改进的Fisher准则并使用Bagging算法训练若干基分类器,最后使用极限学习机作为元分类器来建立基分类器集合与正确决策之间的联系。实验结果表明,在不同的隐写算法与嵌入率的条件下,与传统集成分类器和基于选择性集成的集成分类器相比,所提算法降低了3.5%与1.8%的检测错误率,说明能够有效提高集成分类器的检测精度。     

基于重采样策略的选择性谱聚类集成学习算法

提出了一种新的基于双重采样的选择性集成学习算法。针对集成学习要求学习器个体的差异性分布在样本空间的不同部分,对得到的聚类个体学习器输出进行重采样,以此来计算聚类个体的差异性。针对集成学习要求得到的个体学习器具有一定的精确性,对所有得到的学习器个体集合进行重采样来评估聚类个体精确性。在此基础上选择出集成学习所需的个体集合。以谱聚类算法作为基学习器,用聚类集成策略部分解决了谱聚类算法存在的尺度参数敏感问题,在UCI数据集上的仿真实验验证了算法的有效性。