基于K-means聚类和遗传算法的少数类样本采样方法研究

传统的分类器对不均衡数据集的分类严重倾向于多数类.为了有效地提高不均衡数据集中少数类的分类性能,针对此问题提出了一种基于K-means聚类和遗传算法的少数类样本采样方法.通过K-means算法将少数类样本聚类分组,在每个聚类内使用遗传算法获取新样本并进行有效性验证,最后通过使用KNN和SVM分类器,在仿真实验中证明了方法的有效性.     

一种新的动态SVM选择集成算法

针对动态选择集成算法存在当局部分类器无法对待测样本正确分类时避免错分的问题,提出基于差异聚类的动态SVM选择集成算法。算法首先对训练样本实施聚类,对于每个聚类,算法根据精度及差异度选择合适的分类器进行集成,并根据这些分类器集成结果为每个聚类标定错分样本区,同时额外为之设计一组分类器集合。在测试过程中,根据待测样本所属子聚类及在子聚类中离错分样本区的远近,选择合适的分类器集合为之分类,尽最大可能的减少由上一问题所带来的盲区。在UCI数据集上与Bagging-SVM算法及文献［10］所提算法比较,使用该算法在保证测试速度的同时,能有效提高分类精度。     

基于一类SVM的贝叶斯分类算法

提出一种基于一类支持向量机(one-class SVM)的贝叶斯分类算法,该算法用一类SVM对类条件概率密度进行估计以构造贝叶斯分类器. 证明采用高斯核的一类SVM,其解可以归一化为密度函数,并把该密度函数看作类条件概率密度的平滑估计,构造贝叶斯分类器. 实际数据集上的实验结果表明,提出的分类算法测试准确率高于简单贝叶斯分类器与贝叶斯网络分类器,不低于传统二类SVM;比传统二类SVM需要计算的核矩阵规模更小,训练时间更短.     

小波图像压缩编码中小波基的选择技术研究

传统的分类器对不均衡数据集的分类严重倾向于多数类。为了有效地提高不均衡数据集中少数类的分类性能,针对此问题提出了一种基于K-means聚类和遗传算法的少数类样本采样方法。通过K-means算法将少数类样本聚类分组,在每个聚类内使用遗传算法获取新样本并进行有效性验证,最后通过使用KNN和SVM分类器,在仿真实验中证明了方法的有效性。     

基于局部密度改进的SVM不平衡数据集分类算法

针对不平衡数据集数据分布不均匀及边界模糊的特点,提出基于局部密度改进的SVM不平衡数据集分类算法.该算法先将多数类划分成多个子类,并依据子类内每个样本的局部密度选出边界区域、靠近边界区域的与少数类数目相等的样本,与少数类完成SVM初始分类;用所得的支持向量机和剩余的多数类样本对初始分类器进行迭代优化.结果表明,与WSVM,ALSMOTE-SVM和基本SVM算法相比,该算法分类效果良好,能有效改进SVM算法在分布不均匀及边界模糊数据集上的分类性能.     

基于流形分析与AP算法RBF神经网络分类器

提出了一种基于流形分析与近邻传播（AP）算法的径向基函数（RBF）神经网络分类算法.通过流形分析算法对数据集进行初步处理,然后通过指数函数调整相似度矩阵,再重新进行AP聚类,在此基础上构造RBF神经网络分类器,通过拟合正确率来判断算法是否收敛,并对分类结果运用FMI指标进行评价.实验结果表明：改进算法中RBF网络隐节点数普遍得到增加,使得RBF神经网络拟合精度得以提高;从分类结果可以看出该算法对训练数据集都获得了很好的拟合正确率,对测试数据集也获得了较高的测试正确率.     

基于聚类和SVM的数据分类方法与实验研究简

提出一种新的数据分类方法,K-均值聚类分组支持向量机(CG-SVM)方法,在不删减任何样本信息的情况下,该方法使用轮廓系数作为类分离度量参数对数据的正、负类样本进行聚类、分组,对小组进行交叉结合训练,得到不同的SVM分类器,根据测试样本到聚类中心欧氏距离的加权来选择合适的SVM分类器进行类别判断,该方法实现了一个二分类问题转化为多个细分的二分类过程,效果由差变好.对所提方法分别进行了仿真数据和实际数据分类实验.实验结果表明,与传统的SVM方法相比,该算法可以有效地提高分类的准确率.     

基于聚类技术的集成学习方法研究

研究了基于聚类技术提高分类器差异性的方法.通过Bootstrap技术与分类器学习算法训练分类器模型,利用分类器在验证集上的分类结果作为聚类的数据对象;然后应用聚类算法对这些数据聚类,并在每个簇中选择分类器代表模型,以此构成集成学习的成员;最后应用融合方法实验研究了基于聚类技术提高差异性的集成学习性能,并与集成学习方法bagging,adaboost进行了实验比较.     

基于数据关系的SVM多分类学习算法

提出一种基于数据关系(Data Relationship,DR)的多分类支持向量机(Support Vector Machine,SVM)学习算法(Multi-Classification SVM Algorithm Based on Data Relationship,DR-SVM).DR-SVM算法根据每类数据的关系(如向量积等)获取子学习嚣的冗余信息,从而优化多分类器组,然后通过经典的SVM算法训练分类器组.算法在简化分类器组的同时可对多类数据分类问题获得满意的泛化能力,在标准数据集上的实验结果表明,与经典的SVM多分类方法相比,DR-SVM具有更好的泛化性能,尤其对单个类别精度要求较高的数据尤其有效.     

基于聚类和SVM的数据分类方法与实验研究

提出一种新的数据分类方法,K-均值聚类分组支持向量机(CG-SVM)方法,在不删减任何样本信息的情况下,该方法使用轮廓系数作为类分离度量参数对数据的正、负类样本进行聚类、分组,对小组进行交叉结合训练,得到不同的SVM分类器,根据测试样本到聚类中心欧氏距离的加权来选择合适的SVM分类器进行类别判断,该方法实现了一个二分类问题转化为多个细分的二分类过程,效果由差变好.对所提方法分别进行了仿真数据和实际数据分类实验.实验结果表明,与传统的SVM方法相比,该算法可以有效地提高分类的准确率.     

基于粒子群优化算法的支持向量机研究

基于粒子群优化算法提出了一种通过优化支持向量机模型参数,建立更佳的支持向量机数学模型的方法. 针对双螺旋分类问题,分别利用基于粒子群优化算法所建立的支持向量机分类器和标准支持向量机分类器进行了仿真实验,利用所建立的评价体系对仿真实验所获得的实验数据进行了评估,评估结果表明基于粒子群优化算法的支持向量机分类器明显优于标准支持向量机分类器,其分类结果表明基于粒子群优化算法的支持向量机分类器提高了分类结果的准确性,同时也验证了基于粒子群优化算法的支持向量机分类器在数据分类中的有效性.      

基于支持向量机的垃圾信息过滤方法

针对垃圾信息过滤的问题,提出了一种基于支持向量机(SVM)算法的垃圾信息过滤方法. 利用文本分类和信息检索领域所常用的性能评价指标,建立了垃圾信息过滤的评价体系,针对仿真实验获得的实验数据,利用所建立的垃圾信息过滤评价体系对实验数据评价结果,选取了适合的核函数及其参数,构建了SVM分类器,同时也通过仿真实验和评价体系对SVM分类器和传统贝叶斯分类器进行了测试和评估. 结果表明,基于SVM算法的分类器提高了信息过滤的准确性,同时也验证了SVM算法在垃圾信息过滤中的有效性.      

一种新型的自适应多核学习算法

针对样本基数较大、 维数较高、 特征较复杂的数据集训练问题, 将支持向量机与蚁群优化算法相融合, 提出一种自适应多核学习算法. 利用吸引子传播聚类算法自适应地发现相似特征, 并据此利用蚁群算法自适应地选择核函数参数, 从而快速选择最优核函数. 通过UCI数据集的5组数据实验表明, 该算法相比于传统的支持向量机分类准确率和F₁值更高, 验证了该算法的有效性和可行性.     

A fast SVM training algorithm based on the set segmentation and k-means clustering

At present, studies on training algorithms for support vector machines (SVM) are important issues in the field of machine learning. It is a challenging task to improve the efficiency of the algorithm without reducing the generalization performance of SVM. To face this challenge, a new SVM training algorithm based on the set segmentation and k-means clustering is presented in this paper. The new idea is to divide all the original training data into many subsets, followed by clustering each subset using k-means clustering and finally train SVM using the new data set obtained from clustering centroids. Considering that the decomposition algorithm such as SVMlight is one of the major methods for solving support vector machines, the SVMlight is used in our experiments. Simulations on different types of problems show that the proposed method can solve efficiently not only large linear classification problems but also large nonlinear ones.     

基于多类支持向量机的遥感图像分类及其半监督式改进策略

基于神经网络的遥感图像分类取得了较好的效果,但存在固有的过学习、易陷入局部极小等缺点.支持向量机机器学习方法,根据结构风险最小化(SRM)原理,表现出很多优于其他传统方法的性能,本研究的基于多类支持向量机分类器的遥感图像分类取得了达95.4％的分类精度.但由于遥感图像分类类别多,所需训练样本较大,人工选择效率较低,为此提出以人工选择初始聚类质心、C均值模糊聚类算法自动标注训练样本的基于多类支持向量机的半监督式遥感图像分类方法,期望能在获得适用的分类精度的基础上有效提高分类效率.     

基于离群点剔除的SVM信用风险评价方法

针对信用评价数据存在离群点和噪声问题, 提出一种基于离群点剔除的支持向量机（SVM）信用风险评价模型. 该模型利用模糊c-均值聚类算法剔除样本离群点, 采用粒子群算法优化支持向量机分类参数, 进而提高支持向量机的分类性能. 将该方法应用于信用风险评价中的结果表明, 相比于其他模型, 该方法分类精度更高.     

基于特征抽取和SVM分类器的故障诊断

为了提高支撑向量机(Support Vector Machine,SVM)的性能,降低时间开销;提出一种基于特征提取的SVM算法,并将其用于汽轮发电机组的故障诊断;使用KFDA(Kernel Fisher Discriminant Analyst)算法提取汽轮发电机组数据的关键特征,并使用SVM分类器对特征数据集合进行分类检测;实验结果表明:算法是可行和有效的,在分类性能和训练时间上都得到了提高。     

基于模糊聚类SVM的混合像元分类方法

针对遥感影像分类过程中混合像元难判别的问题, 提出一种基于Gustafson-Kessel模糊聚类算法的支持向量机（SVM）分类模型. 以Gustafson-Kessel算法优选训练样本方式提高支持向量机的分类性能. 为验证其有效性, 将该模型应用于森林覆盖类别分类, 并与标准支持向量机模型分类结果对比. 实验结果表明, 该方法能提高支持向量机对混合像元划分的精度.     

基于一类SVM概率密度估计的多分类贝叶斯算法研究

为降低训练分类器的运算复杂度，并解决支持向量机（SVM）对多类分类问题没有特别有效解决方法的问 题。提出了一种基于一类支持向量机的多分类贝叶斯算法，证明了基于径向基核函数的一类SVM的分类函数归 一化为密度函数，并将所得的概率密度函数用于构造二分类及多分类贝叶斯分类器。仿真实验将提出的多分类贝 叶斯算法应用于多类通信信号调制识别，结果表明：该算法的分类准确率不低于传统SVM多分类器，而在多类属、 每类训练样本数目较大的情况下训练所需的运算量和存储量仅是传统SVM多分类算法的0.5%大大减小了核 矩阵规模和     

一种基于信息熵数据修剪的支持向量机:EB-SVM

支持向量机在处理分类问题时,如果两类数据重叠严重会造成分类器过学习,降低泛化性能。为此提出了一种基于信息熵的数据修剪支持向量机EB-SVM(entropy based-support vector machine),其主要思想是通过计算样例信息熵删除部分边缘数据和边界处混淆程度较高的样例以及噪声数据,用较少的训练样例学习SVM分类器。实验结果表明,该方法能够有效提高SVM的泛化性能。