基于模糊支持向量的多标签分类方法

单实例多标签分类是指一个样本拥有多个标签的分类问题,对此提出了一种基于半模糊核聚类和模糊支持向量机的多标签分类算法.该算法采用一对一分解策略将多类多标签数据集分解为多个两类双标签数据子集,在每个子集上训练两类双标签模糊支持向量机.为提高分类器的性能引入了半模糊核聚类技术.实验结果表明,与现有的一些算法相比新算法具有其优...     

支持向量机的聚类补偿研究

主要研究支持向量机方法与聚类算法的配合问题.支持向量机的训练代价太大,如果直接把成千上万个特征向量直接用作训练,运算时间难以忍受.采取的策略是用聚类算法获得较少的聚类中心,然后将聚类中心作为支持向量机的训练样本.事实上,这样的组合方式有待改进.每一聚类的样本数有多有少,所以每一个聚类中心所体现出来的权重不一样.反映在支持向量机的算法中,改进思路为:在支持向量机的训练中,除了原有点以外,加入人工样本点,人工样本点的位置就是这些原有点之一,各个位置的数量与聚类大小成比例.     

基于支持向量回归的增量学习算法

提出了一种基于支持向量回归的增量学习算法,该算法在增量学习中除了考虑原训练集中的支持向量(SVs)外,还考虑了非SVs与ε-带(-iεnsensitive zone)的边界距离较近的样本,并将这些样本与新的训练集一起训练.试验结果表明,与传统的支持向量机增量学习算法相比,此算法提高了训练精度;与经典的SVR相比,此算法大大节约了训练时间,是一种行之有效的增量学习算法.     

一种新型的自适应多核学习算法

针对样本基数较大、 维数较高、 特征较复杂的数据集训练问题, 将支持向量机与蚁群优化算法相融合, 提出一种自适应多核学习算法. 利用吸引子传播聚类算法自适应地发现相似特征, 并据此利用蚁群算法自适应地选择核函数参数, 从而快速选择最优核函数. 通过UCI数据集的5组数据实验表明, 该算法相比于传统的支持向量机分类准确率和F₁值更高, 验证了该算法的有效性和可行性.     

基于双支持向量机的大样本分类算法

针对支持向量机(Support Vector Machine,SVM)处理大规模样本分类的学习效率降低问题,提出两阶段学习的支持向量机算法。该方法首先在正负类分别进行无监督聚类,提取各个聚类质心组成约简训练集,进行初次SVM训练;然后,根据初次训练结果选取边界样本集,参与第二次SVM训练。在UCI数据集上的实验结果表明,所提方法在保持分类泛化性能的同时,提高了模型的训练速度。     

用聚类支持向量机模型监测环保设备运行状态

针对环保设备多状态监测与识别问题,提出了一种基于多分类聚类支持向量机的分类算法模型.该算法模型充分利用多个相关联被监测设备及其状态属性特征,采用神经网络聚类分析获得关联特征的聚类子空间,再对聚类子空间构造二叉树支持向量机进行多分类识别.该算法模型避免了盲目分类,与单纯的支持向量机算法比较具有更好的分类性能.通过对日本大晃船用污水处理装置实测样本的训练、检验表明,该算法具有98%以上的分类识别率.     

基于聚类的鲁棒最小二乘支持向量机

现实数据集通常是呈非线性分布的,虽然很多最小二乘支持向量机算法利用分治策略可以对这一类数据集进行建模,但是由于子模型缺乏鲁棒性,所建的总体模型易受噪声的干扰进而失效。为了对带有噪声的数据集建模,提出了一种基于聚类的鲁棒的最小二乘支持向量机。首先,使用聚类方法将样本分成几个子数据集,每一个子数据集对可以相应地建立一个局部的最小二乘支持向量机来获取对应子数据集的局部动态性。其次,通过在损失函数里加入一个全局正则化因子,使得局部子模型间能够智能地协调,保证建立的全局模型不仅是光滑连续的,同时具有良好的泛化性和鲁棒性。数学和实际例子表明,对于含有噪声的样本集,所提出的方法具有更好的建模效果。     

鲁棒最小二乘支持向量机及其在软测量中的应用

针对最小二乘支持向量机在利用产生于工业现场的非理想数据集进行建模预测时,稀疏化模型鲁棒性差的问题,提出了一种基于模糊C均值聚类和密度加权的稀疏化方法.首先通过模糊C均值聚类将训练样本划分为若干个子类;然后计算每个子类中各样本的可能贡献度,依次从每个子类中选取具有最大可能贡献度的样本作为支持向量;最后更新每个样本的可能贡献度,继续从各个子集中增选支持向量,直至稀疏化后的模型性能满足要求.仿真结果和磨机负荷实际应用表明,该方法能够兼顾模型在整体样本集和各工况子集上的性能,在实现模型稀疏化的同时,能够显著改善最小二乘支持向量机模型的鲁棒性.     

基于支持向量机的增量学习算法

通过对支持向量机KKT条件和样本间关系的研究,分析了新增样本加入训练集后支持向量的变化情况,提出一种改进的Upper Limiton Increment增量学习算法.该算法按照KKT条件将对应的样本分为3类:位于分类器间隔外,记为RIG;位于分类间隔上,记为MAR;位于分类间隔内,记为ERR.并在每次训练后保存ERR集,将其与下一个增量样本合并进行下一次训练.实验证明了该算法的可行性和有效性.     

基于多模型模糊核聚类方法的污水处理过程软测量建模

针对污水处理过程高度非线性及强耦合性的特点,基于多个模型的组合可以提高模型精度和鲁棒性的思想,提出了一种基于模糊核聚类的多最小二乘支持向量机的软测量建模方法。该方法根据不同工况使用模糊核聚类算法对输入数据进行聚类划分,针对每个聚类子集用最小二乘支持向量机方法建立子模型,最终通过子模型切换策略得到系统输出。在污水处理过程仿真平台展开验证工作,对生化需氧量BOD的软测量进行建模,获得了良好的实验结果。     

基于模糊熵的支撑矢量预选取方法

在基于支撑矢量机的分类器学习算法中,预先选择支撑矢量是非常重要的．依据模糊熵理论,提出一种启发式的支撑矢量预选取方法——模糊熵方法．该方法针对支撑矢量数目较小的情况,可以有效地预选取出包含支撑矢量的边界集．利用边界集作为训练集可以大大简化支撑矢量机的训练而不影响分类性能．与其它方法相比,该方法的主要优点是不需要参数来确定边界集的阈值．仿真实验结果表明该方法是有效和可行的．     

A fast SVM training algorithm based on the set segmentation and k-means clustering

At present, studies on training algorithms for support vector machines (SVM) are important issues in the field of machine learning. It is a challenging task to improve the efficiency of the algorithm without reducing the generalization performance of SVM. To face this challenge, a new SVM training algorithm based on the set segmentation and k-means clustering is presented in this paper. The new idea is to divide all the original training data into many subsets, followed by clustering each subset using k-means clustering and finally train SVM using the new data set obtained from clustering centroids. Considering that the decomposition algorithm such as SVMlight is one of the major methods for solving support vector machines, the SVMlight is used in our experiments. Simulations on different types of problems show that the proposed method can solve efficiently not only large linear classification problems but also large nonlinear ones.     

基于投影中心距离的支持向量预选取

支持向量机是一种能在训练样本数很少的情况下达到很好分类推广能力的学习算法.支持向量机在选择支撑矢量时却进行了大量不必要的运算,成为其应用的瓶颈问题.因此在基于支持向量的分类器学习算法中,预先选择支撑向量是非常重要的.投影中心距离算法是一种能够预选取支撑矢量的方法,该方法可以有效地预选取出包含支持向量的边界集,在不影响支持向量机的分类能力情况下,大大地减少了训练样本,提高了支持向量机的训练速度.本文采用投影中心距离算法进行支撑矢量的预选取,通过对人工线性、非线性数据及MINST字符库的实验证明了该方法的有效性和可行性.     

基于AP算法支持向量机的设计与应用

设计一种基于AP聚类算法和SVM分类器相融合的新的混合分类器, 使用AP聚类算法优化数据集, 得到了高质量、 小样本的SVM分类器训练集. 实验结果表明: 与传统的SVM分类器相比, 混合分类器具有更高的分类精度; 在心脏病预测上, 该分类器的效果较好.     

稀疏最小二乘支持向量机及其应用

提出基于特征向量选择(feature vector selection,FVS)的稀疏最小二乘支持向量机(sparse least squares support vector machine,SLS-SVM)模型,解决最小二乘支持向量机(least squares support vector machine,LS-SVM)稀疏化问题。采用FVS在特征空间构建特征向量子集,对训练样本进行稀疏线性重构;将稀疏化的特征向量作为支持向量,从而实现对LS-SVM稀疏化建模。将SLS-SVM模型进行弓网系统的仿真对比实验,结果表明SLS-SVM模型在取得高预报精度的同时,可实现支持向量的高度稀疏化,从而加快模型预报速度。     

基于投影中心距离的支持向量预选取

支持向量机是一种能在训练样本数很少的情况下达到很好分类推广能力的学习算法。支持向量机在选择支撑矢量时却进行了大量不必要的运算, 成为其应用的瓶颈问题.因此在基于支持向量的分类器学习算法中,预先选择支撑向量是非常重要的。投影中心距离算法是一种能够预选取支撑矢量的方法, 该方法可以有效地预选取出包含支持向量的边界集,在不影响支持向量机的分类能力情况下,大大地减少了训练样本,提高了支持向量机的训练速度。本文采用投影中心距离算法进行支撑矢量的预选取,通过对人工线性、非线性数据及MINST字符库的实验证明了该方法的有效性和可行性。     

交叉验证KNN支持向量预选取算法在说话人识别上的应用

针对传统支持向量机算法时空复杂度较高的不足,提出了一种基于交叉验证KNN的支持向量预选取算法。该算法首先对原始样本求k个的邻近样本,然后计算邻近样本中异类样本的比例p1,最后选取满足p1大于阈值p的原始样本作为支持向量。通过交叉验证方法确定k与p的最合适的数值。在UCI标准数据集和说话人识别数据集上的仿真实验显示算法可有效地降低支持向量机分类器的运行时间,同时又具有较好的分类性能。     

基于协同聚类的多核学习

针对实际应用中经常出现的异类数据源,采用多核学习的支持向量机受到关注.然而随着核函数数量的增多,计算量也随之大大增加.为了解决这一问题,该提出了一种利用协同聚类对多核支持向量机的训练数据进行简化的方法,可以减少支持向量机的数目,从而减少计算量.实验结果显示,提出的方法可以提高多核支持向量机的效率,同时还不会影响分类精度.     

基于聚类分析和支持向量机的布匹瑕疵分类方法

提出一种基于聚类分析和支持向量机(SVM)的布匹瑕疵分类方法.该方法充分利用瑕疵的几何特征,首先使用迭代自组织数据分析技术算法(ISODATA)对其进行聚类,在聚类形成的子空间内再根据瑕疵的纹理特征利用SVM进行分类.根据布匹瑕疵的特点提出一种新的几何特征,并使用各类瑕疵的几何特征均值作为初始聚类中心,提高ISODATA算法的聚类效果.实验表明,该方法有效地提高了分类准确性,降低了训练的复杂度,分类准确率可达90%.