采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

基于改进Fisher准则与极限学习机集成的图像隐写分析

集成分类器是目前图像隐写分析中广泛使用的分类器。针对集成分类器中基分类器受离群样本影响较大,集成策略效果不佳的缺点,提出一种基于改进Fisher准则与极限学习机集成的图像隐写分析算法。首先,通过重新定义类内散度矩阵以提高Fisher准则模型的准确性,之后基于改进的Fisher准则并使用Bagging算法训练若干基分类器,最后使用极限学习机作为元分类器来建立基分类器集合与正确决策之间的联系。实验结果表明,在不同的隐写算法与嵌入率的条件下,与传统集成分类器和基于选择性集成的集成分类器相比,所提算法降低了3.5%与1.8%的检测错误率,说明能够有效提高集成分类器的检测精度。     

SVM集成研究与应用

集成学习是机器学习的重要研究方向之一,SVM集成近年来已经受到国内外很多从事机器学习、统计学习的研究者们的重视,并使得该领域成为了一个相当活跃的研究热点。对近年来SVM集成的研究与应用进行了综述,讨论了SVM集成需要解决的基本问题;讨论分析了构造差异性大的集成成员SVM的方法、有效的集成结论生成方法、SVM集成的典型应用;指出了目前存在的问题、以及几个重要的研究方向。     

基于分类的集成学习算法研究

集成学习可以提高分类器的泛化性能,这种方法已经成为机器学习的重要研究方向之一.通常,集成学习主要由2部分构成,即个体生成方法及结论生成方法.从集成学习的差异性角度出发,对集成学习中个体的构造方法及结论生成方法进行了分析与研究,对集成学习中存在的问题及未来的研究方向进行了探讨.     

基于主成份分析的Bagging集成学习方法

机器学习中数据集的冗余特征会影响学习器的泛化能力，一些流行方法如支持向量机和集成学习也难免于此．研究了利用主成份分析进行特征变换对Bagging集成学习算法的影响，提出一种称为PCA—Bagging的算法，并与其它算法比如单个支持向量机、支持向量机Bagging集成、带有特征变换的单个支持向量机等进行了性能比较．在多个UCI标准数据集上的实验表明PCA—Bagging算法具有更好的性能，这说明即使是泛化能力很强的集成学习方法其学习的数据也需要进行适当的特征变换。     

异构集成学习中的观察学习机制研究

集成学习是提高分类精度的一种有效途径,已在许多领域显示出其优于单个分类器的良好性能。观察学习是一种基于社会学习理论的集成学习方法,以往对其研究集中于同构模式。在此提出了基于异构模式的观察学习策略,通过训练、观察、再训练三个阶段完成学习。在UCI标准数据集上对异构环境下的观察学习算法进行了实验研究。结果表明,该方法优于多数投票法和单个分类算法,其对弱分类器组成的分类器集合尤其有效。从偏差/方差分解的角度对观察学习提高分类性能的原因进行了论证,结果表明,观察学习算法既可以降低偏差,也可以降低方差。     

多核学习方法在分类中的应用研究

传统的核方法如支持向量机在迭代时间、推广能力和鲁棒性等方面不够理想。针对上述问题,给出了基于半无限线性规划(SILP)的多核学习算法,并将其应用在UCI机器学习数据库的二分类和多分类数据集中。该算法用列生成和块算法的方法,固定次优参数并确定工作集后求解优化问题,提高了算法的速度。实验表明,该算法的分类效果比传统支持向量机算法结果更优,具有更好的鲁棒性和普遍适用性。     

基于聚类技术的集成学习方法研究

研究了基于聚类技术提高分类器差异性的方法.通过Bootstrap技术与分类器学习算法训练分类器模型,利用分类器在验证集上的分类结果作为聚类的数据对象;然后应用聚类算法对这些数据聚类,并在每个簇中选择分类器代表模型,以此构成集成学习的成员;最后应用融合方法实验研究了基于聚类技术提高差异性的集成学习性能,并与集成学习方法bagging,adaboost进行了实验比较.     

基于傅立叶核与径向基核的支持向量机性能之比较

支持向量机（SVMs）是由Vapnik提出的一种建立在统计学习理论上的新方法：这种方法被深入地研究并广泛应用在诸如分类和回归问题上。由于其基于结构风险最小化的机理，因此相对于其他的经典方法有着更好的泛化特性，其中核函数的选择对支持向量机的性能有着很大的影响。深入地研究了基于傅立叶核函数的支持向量机的特性，得出在某些特殊的情况下，基于傅立叶核函数的支持向量机的性能要好于基于RBF核的支持向量机。最后的仿真对其进行了比较验证。     

基于支持向量机的掌纹识别研究

统计学习理论(SLT)着重研究在小样本情况下的统计规律及学习方法性质．基于该理论,Vapnik等人提出了支持向量机(SVM)这一通用学习方法．SVM在最近几年取得了很好的发展,并在模式识别领域表现出优良的性能．本文尝试利用SVM进行掌纹识别．在对一副训练图像进行预处理之后,对其进行傅立叶变换以得到相应特征向量,然后用支持向量机对特征向量进行训练,最后用训练好的支持向量机进行掌纹识别．文中对1Vr方法和1V1方法的实验结果进行了对比和分析．实验结果显示,支持向量机在掌纹识别过程中表现出较好的性能,并且得到了较高的识别率．     

A Classifier Using Online Bagging Ensemble Method for Big Data Stream Learning

By combining multiple weak learners with concept drift in the classification of big data stream learning, the ensemble learning can achieve better generalization performance than the single learning approach. In this paper,we present an efficient classifier using the online bagging ensemble method for big data stream learning. In this classifier, we introduce an efficient online resampling mechanism on the training instances, and use a robust coding method based on error-correcting output codes. This is done in order to reduce the effects of correlations between the classifiers and increase the diversity of the ensemble. A dynamic updating model based on classification performance is adopted to reduce the unnecessary updating operations and improve the efficiency of learning.We implement a parallel version of EoBag, which runs faster than the serial version, and results indicate that the classification performance is almost the same as the serial one. Finally, we compare the performance of classification and the usage of resources with other state-of-the-art algorithms using the artificial and the actual data sets, respectively. Results show that the proposed algorithm can obtain better accuracy and more feasible usage of resources for the classification of big data stream.     

基于选择性的贝叶斯分类器集成方法

提出一种基于选择性的贝叶斯分类器集成方法．该方法为避免数据预处理时的属性约简对分类效果的直接影响，在训练集上通过随机属性选取生成若干属性子集，并以这些子集训练不同的贝叶斯分类器，进而采用遗传算法优选贝叶斯分类器集成，其适应度函数综合了分类器的精度和差异度两项指标．实验中，将该方法与已有方法在UCI的标准数据集上进行了性能比较，并将该方法用于C^3I系统中的威胁度估计。     

通过特征权学习增强支持向量机的泛化能力

在分类问题中,支持向量机(SVM)首先将样本映入某一高维特征空间,并在此空间中构造具有最大间隔的分类超平面.由Vapnik的统计学习理论知道,SVM泛化能力的强弱与分类超平面间隔的大小有十分密切的关系:分类平面的间隔越大,SVM的泛化能力就越强.本文提出了一种通过特征权学习来增加分类超平面的间隔,从而增强SVM泛化能力的方法.仿真试验表明,该方法对提高SVM的泛化能力是有效的.     

基于Shapelets的多变量D-S证据加权集成分类

集成学习是分类多变量时间序列的有效方法.然而集成学习对基分类器性能要求较高,基分类器组合算法优劣对分类效果影响较大.为此,提出一种基于Shapelets的多变量D-S(Dempster/Shafer)证据加权集成分类方法.首先,在单变量时间序列上学习得到基分类器Shapelets,基分类器的分类准确率确定为其在多分类器...     

基于3次握手改进机制和SVM的无人机网络协作邻居发现协议

无人机在军事和民用领域都得到了广泛的应用,无人机的组网也成为研究热点之一.邻居发现作为组网完成的前提步骤,发挥着至关重要的作用.首先提出了基于3次握手改进机制的非协作邻居发现(3-handshake non-cooperation neighbor discovery,3-NCND)协议;然后融入支持向量机(support vector machine,SVM)算法,提出了基于3次握手改进机制和SVM的协作邻居发现(3-handshake and SVM cooperative neighbor discovery,3-SVMCND)协议,SVM作为分类器加入到邻居协议中,智能地将自身邻居节点信息发送给目标节点,减少了邻居节点推荐的数量,提高了邻居发现的速度.通过仿真实验比较了邻居发现时隙数、邻居发现率和能量消耗这3个性能指标.研究结果表明,相较于3-NCND协议,SVM-CND协议具有更快的发现速度和更高的邻居发现率.     

Support vector machine ensemble using rough sets theory

A support vector machine （SVM） ensemble classifier is proposed. Performance of SVM trained in an input space eonsisting of all the information from many sources is not always good. The strategy that the original input space is partitioned into several input subspaces usually works for improving the performance. Different from conventional partition methods, the partition method used in this paper, rough sets theory based attribute reduction, allows the input subspaces partially overlapped. These input subspaces can offer complementary information about hidden data patterns. In every subspace, an SVM sub-classifier is learned. With the information fusion techniques, those SVM sub-classifiers with better performance are selected and combined to construct an SVM ensemble. The proposed method is applied to decision-making of medical diagnosis. Comparison of performance between our method and several other popular ensemble methods is done. Experimental results demonstrate that our proposed approach can make full use of the information contained in data and improve the decision-making performance.     

Feature Rescaling of Support Vector Machines

Support vector machines (SVMs) have widespread use in various classification problems. Although SVMs are often used as an off-the-shelf tool, there are still some important issues which require improvement, such as feature rescaling. Standardization is the most commonly used feature rescaling method. However, standardization does not always improve classification accuracy. This paper describes two feature rescaling methods: multiple kernel learning-based rescaling (MKL-SVM) and kernel-target alignment-based rescaling (KTA-SVM). MKL-SVM makes use of the framework of multiple kernel learning (MKL) and KTA-SVM is built upon the concept of kernel alignment, which measures the similarity between kernels. The proposed methods were compared with three other methods: an SVM method without rescaling, an SVM method with standardization, and SCADSVM. Test results demonstrate that different rescaling methods apply to different situations and that the proposed methods outperform the others in general.     

位平面分解的人脸识别集成方法研究

研究了基于集成技术的人脸识别,主要包括集成个体分类器的生成与分类结果的融合.为了提高分类器个体间的差异性,通过位平面分解及移动窗口技术生成基分类器,然后对所分解模式的各层进行融合,以确定最后的决策,这些融合方法包括乘法规则、和规则、多数投票规则、最大值规则、最小值规则与中值规则.另外,针对ORL数据库,实验研究了不同融合方法的人脸识别的性能,并对不同的人脸识别方法的性能进行了比较.结果表明,在基于位平面分解的人脸识别集成方法中,应用和规则的融合方法,其性能也优于其他的人脸识别方法.     

一种新的支持向量机混合集成算法

针对基于Boosting和Bagging的集成算法不能有效提高"强学习器"泛化性能的问题,融合Boosting的样本扰动和快速核独立分量分析的特征扰动以生成若干个体支持向量分类器,使生成的训练样本集具有较大的差异性。然后基于模糊核聚类算法根据各个体支持向量机在验证集上的泛化误差选择最优个体进行集成。实验结果表明该算法能进一步提高支持向量机分类器的泛化性能,而且具有较强的稳定性。