基于分类的集成学习算法研究

集成学习可以提高分类器的泛化性能,这种方法已经成为机器学习的重要研究方向之一.通常,集成学习主要由2部分构成,即个体生成方法及结论生成方法.从集成学习的差异性角度出发,对集成学习中个体的构造方法及结论生成方法进行了分析与研究,对集成学习中存在的问题及未来的研究方向进行了探讨.     

基于机器学习的裂纹识别研究现状及发展趋势

裂纹识别一直是机器视觉领域的重要研究内容,尤其是与之相关的自动检测算法在近年来备受关注。深度学习作为机器学习的一个分支,其在裂纹识别方面已显现出强大的功能和灵活性。本文对基于机器学习的裂纹识别技术的发展情况、研究现状以及典型方法进行详细介绍:首先介绍了多种机器学习方法在裂纹识别领域的应用,并从特征提取算法和应用对象等方面介绍了支持向量机(Support Vector Machine, SVM)、K最近邻(K-Nearest Neighbor, KNN)、神经网络、决策树和随机森林等常用的分类器;其次,从网络模型、数据集和应用对象等方面介绍了深度学习方法在裂纹识别领域的应用。同时,本文还对近20年(2000-2020年)的81篇相关文献进行对比分析,认为未来金属裂纹的识别依旧是热门研究,多种算法的混合会逐渐替代单一算法成为今后的发展方向。     

支持向量机的算法研究

支持向量机(support vector machine,SVM)是20世纪90年代发展起来的一种新型机器学习方法,是在统计学习理论基础上发展起来的一种新的数据挖掘方法,已广泛应用于模式识别与回归分析。并已成为国际机器学习界的研究热点。本文主要讨论其基本原理与SVM训练算法。     

支持向量机的算法研究

支持向量机(support vector machine,SVM)是20世纪90年代发展起来的一种新型机器学习方法,是在统计学习理论基础上发展起来的一种新的数据挖掘方法,已广泛应用于模式识别与回归分析.并已成为国际机器学习界的研究热点.本文主要讨论其基本原理与SVM训练算法.     

中文情绪识别方法研究

以中文情绪语料库(Ren-CECps)为基础,重点研究了句子级情绪识别方法.比较了不同特征以及不同机器学习分类方法(NB,SVM,ME)对情绪识别的影响.此外,针对情绪文本和非情绪文本在语料中的分布非常不平衡问题,通过集成学习的算法来实现不平衡情绪识别,用以提高情绪识别的整体性能.实验结果表明:使用基于样本的集成学习方法能够有效解决不平衡问题,明显提高情绪识别的分类性能.     

集成学习方法:研究综述

机器学习的求解过程可以看作是在假设空间中搜索一个具有强泛化能力和高鲁棒性的学习模型,而在假设空间中寻找合适模型的过程是较为困难的.然而,集成学习作为一类组合优化的学习方法,不仅能通过组合多个简单模型以获得一个性能更优的组合模型,而且允许研究者可以针对具体的机器学习问题设计组合方案以得到更为强大的解决方案.回顾了集成学习的发展历史,并着重对集成学习中多样性的产生、模型训练和模型组合这三大策略进行归纳,然后对集成学习在现阶段的相关应用场景进行了描述,并在最后对集成学习的未来研究方向进行了分析和展望.     

基于Bootstrap-异质SVM集成学习的肺结节分类方法

为了对肺结节的良、恶性诊断形成定量的客观分析和提高良、恶性的分类正确率,针对肺结节CT图像提出了一种基于Bootstrap-异质SVM的集成学习方法.首先,采用模糊聚类图像分割方法提取肺结节,计算提取出的结节特征参数用于学习分类.然后,以支持向量机(SVM)在不同核函数下的不同性能构造高差异性的子学习器,在子学习器中引入Bootstrap算法来提高其学习精度,通过集成学习方法实现学习器分类性能的整体改善.对146个(40个良性,106个恶性)肺结节样本分别利用单个SVM、BP神经网络和Bootstrap-异质SVM集成学习方法进行了学习测试,获得的最高分类正确率分别为80%,、82%,和90%,.实验结果表明:提出的Bootstrap-异质SVM集成学习方法将单个SVM分类器的最高正确率提高了10%,,同时也获得了高于BP神经网络8%,的分类正确率和较好的学习稳定性,有效地改善了机器学习在不平衡数据集下对肺结节良恶性的分类能力.     

支持向量机在文本分类中的应用的概述

支持向量机SVM（Support Vector Machine）是在统计学理论基础上发展起来的一种新机器学习方法。统计学习理论的实现,使得SVM迅速发展和完善,在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中。SVM具有理论完备、适应性强、全局优化、训练时间短、泛化性能好等优点。由于其良好的性能,现已经成功的应用在数据挖掘,模式识别,文本分类,航拍图像识别等各领域。本文简单地介绍了SVM的算法及在文本分类中的应用。     

一种新的选择性支持向量机集成学习算法

针对支持向量机(SVM)在应用于集成学习中会失效的问题,提出一种选择性SVM集成学习算法(SE-SVM),利用ξα误差估计法估计个体SVM泛化性度量,并基于负相关学习理论引入差异性度量,通过递归删除法选择出一组泛化性能优良、相互间差异性大的SVM参与集成学习.基于UCI数据的仿真实验表明,SE-SVM能够平均提高SVM的分类正确率0.4%,比常规的Bag-ging集成学习方法和负相关集成学习方法的分类正确率分别提高了0.24%和0.16%.     

机器学习在遥感影像分类中的应用

 概述了机器学习的主要方法及其在遥感影像的主要应用方向,涵盖环境生态遥感中机器学习技术的研究、应用情况及近年来的新进展。通过使用深度学习对FY-3C气象卫星资料进行积雪检测的应用实例,说明深度学习模型可以利用大数据的优势不断提高检测精度,在某些指标中取得了更优于传统机器学习的精度,可解决传统机器学习难以解决的一些问题,从而带动遥感应用模式的创新。     

Support Vector Machine Ensemble Based on Genetic Algorithm

Support vector machines （SVMs） have been introduced as effective methods for solving classification problems. However, due to some limitations in practical applications, their generalization performance is sometimes far from the expected level. Therefore, it is meaningful to study SVM ensemble learning. In this paper, a novel genetic algorithm based ensemble learning method, namely Direct Genetic Ensemble （DGE）, is proposed. DGE adopts the predictive accuracy of ensemble as the fitness function and searches a good ensemble from the ensemble space. In essence, DGE is also a selective ensemble learning method because the base classifiers of the ensemble are selected according to the solution of genetic algorithm. In comparison with other ensemble learning methods, DGE works on a higher level and is more direct. Different strategies of constructing diverse base classifiers can be utilized in DGE. Experimental results show that SVM ensembles constructed by DGE can achieve better performance than single SVMs, hagged and boosted SVM ensembles. In addition, some valuable conclusions are obtained.     

基于改进Fisher准则与极限学习机集成的图像隐写分析

集成分类器是目前图像隐写分析中广泛使用的分类器。针对集成分类器中基分类器受离群样本影响较大,集成策略效果不佳的缺点,提出一种基于改进Fisher准则与极限学习机集成的图像隐写分析算法。首先,通过重新定义类内散度矩阵以提高Fisher准则模型的准确性,之后基于改进的Fisher准则并使用Bagging算法训练若干基分类器,最后使用极限学习机作为元分类器来建立基分类器集合与正确决策之间的联系。实验结果表明,在不同的隐写算法与嵌入率的条件下,与传统集成分类器和基于选择性集成的集成分类器相比,所提算法降低了3.5%与1.8%的检测错误率,说明能够有效提高集成分类器的检测精度。     

采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

面向复合材料带隙预测的两段式集成学习模型构建

带隙是钙钛矿型复合氧化物材料重要的特征参数, 对材料的物理化学性质起决定性作用, 如导电性能和光电性能等. 为了寻找适合不同应用领域的钙钛矿型材料, 利用机器学习进行带隙预测是一种重要的研究手段. 构建了一个两阶段异质集成学习模型, 在第一阶段使用多种不同的基础机器学习器(回归模型)进行预测; 在第二阶段把对预测结果影响较大的描述子和基础机器学习器进行集成学习.利用该模型对 210 种钙钛矿型复合氧化物材料的带隙进行预测, 并与多种独立的机器学习算法以及不同集成策略模型的预测性能相对比, 评估了本模型的预测性能. 结果表明, 这种两段式的集成学习模型能够更好地学习到材料数据的内在关系, 并具有较好的预测效果和较强的泛化能力.     

基于主成份分析的Bagging集成学习方法

机器学习中数据集的冗余特征会影响学习器的泛化能力，一些流行方法如支持向量机和集成学习也难免于此．研究了利用主成份分析进行特征变换对Bagging集成学习算法的影响，提出一种称为PCA—Bagging的算法，并与其它算法比如单个支持向量机、支持向量机Bagging集成、带有特征变换的单个支持向量机等进行了性能比较．在多个UCI标准数据集上的实验表明PCA—Bagging算法具有更好的性能，这说明即使是泛化能力很强的集成学习方法其学习的数据也需要进行适当的特征变换。     

支持向量机动态学习方法及其在票据识别中的应用

介绍了用支持向量机(SVM)进行动态学习训练的方法.解决了在机器学习过程中,训练样本获取比较困难,样本可随外界条件改变而变化的问题.实践证明,使用该方法可以动态跟踪样本的变化,保证SVM分类器的最优性能.利用该方法设计的银行票据OCR系统的实际应用说明了该方法的有效性.     

支持向量机的SMO算法及其自适应改进研究

提出在SMO算法上应用自适应学习的思想,并利用求解凸二次规划寻优问题的基础上进行改进的研究.研究表明,基于自适应学习的思想对SMO算法进行改进,可使SVM算法更能适应实际应用快速、高效的需求.     

基于贝叶斯网络的分类器研究

研究了贝叶斯分类器家族中具有代表性的分类器，即朴素(naIve)贝叶斯分类器、贝叶斯网络分类器和TAN(tree augmented Bayesian)分类器；发现属性变量之间的依赖相对于属性变量与类变量之间的依赖是可以忽略的，因此在所有树形分类器中TAN分类器是最优的．