基于活跃集迭代法的支持向量机快速增量学习算法

介绍了一种新的支持向量机（SVM），其优化问题的对偶问题为具有简单界约束的凸二次规划问题：探讨了将活跃集迭代法运用于这种SVM的学习算法以及初始活跃集的选取问题；针对增量学习和大规模学习问题，提出了基于活跃集迭代法的SVM快速增量学习算法；实验验证了算法的有效性。     

Parameter selection of support vector machine for function approximation based on chaos optimization

The support vector machine （SVM） is a novel machine learning method, which has the ability to approximate nonlinear functions with arbitrary accuracy. Setting parameters well is very crucial for SVM learning results and generalization ability, and now there is no systematic, general method for parameter selection. In this article, the SVM parameter selection for function approximation is regarded as a compound optimization problem and a mutative scale chaos optimization algorithm is employed to search for optimal paraxneter values. The chaos optimization algorithm is an effective way for global optimal and the mutative scale chaos algorithm could improve the search efficiency and accuracy. Several simulation examples show the sensitivity of the SVM parameters and demonstrate the superiority of this proposed method for nonlinear function approximation.     

基于流形学习的多核SVM财务预警方法研究

在进行财务困境预测时, 为了客观全面地反映企业的财务状况, 纳入较多的预警指标, 数据集维度将变得很大, 传统方法求解此类问题效果并不理想. 流形学习处理高维数据具有较好的降维效果,多核SVM对于分布不平坦的数据具有很好的分类性能. 基于此, 提出了“流形学习+多核SVM”的混合算法财务预警模型, 该模型适用于具有大量指标集的财务预警. 实验结果表明, 与传统预警方法相对比, 其具有更优的预测性能.     

基于支持向量机的非线性模型预测控制

支持向量机是基于统计学习理论的新一代机器学习技术。由于使用结构风险最小化原则代替经验风险最小化原则,使它较好地解决了小样本情况下的学习问题。又由于采用了核函数思想,使它把非线性问题转化为线性问题来解决,降低了算法的复杂度。提出了一种基于支持向量机的模型预测控制结构,并使用一个新的随机搜索优化算法来求解预测控制律,计算机仿真证明了所设计的控制算法的正确性和有效性。     

基于支持向量机与概率输出网的深度学习模型

本文提出了基于支持向量机与概率输出网络的深度学习回归模型.该回归模型利用深度学习的深层结构,以及支持向量机的泛化能力、概率输出网络中的条件概率估计特点,建立了多层支持向量机的深度学习结构,避免了深度学习的参数选择问题.其中核参数的选择域呈网格状,通过求取输出对应β分布的累积概率分布和经验累积概率分布的K-S检验,求取一致性的p值最大对应的核参数作为支持向量机模型的核参数.对应的输出为模型提取的特征,作为下一层的输入,直至模型达到结束条件为止.仿真实验通过三个标准的回归数据集证明了本文提出模型的有效性.     

基于分组特征多核支持向量机的微钙化簇检测

针对疑似区域内的乳腺微钙化簇和正常乳腺组织特征的多源性这个一直被忽略的问题,提出基于分组特征多核支持向量机(GF-SVM)的乳腺微钙化簇检测。特征被分组后针对不同源特征分别使用不同的核函数映射,组合成多核SVM。将多核SVM转化为半定规划问题,求解多核SVM的核函数权值系数。在训练样本的选择方面采用主动反馈学习方法最终得到稳定的样本模型。实验结果表明,与传统的基于单核SVM相比,该方法具有更好的检测性能。     

基于LMKL和OC-ELM的航空电子部件故障检测方法

针对航空电子部件故障样本获取困难以及检测准确率不高的问题,提出基于局部多核学习(localized multiple kernel learning, LMKL)和一类超限学习机(one-class extreme learning machine, OC-ELM)的故障检测方法。仅运用正常状态的小样本数据,给出了LMK-OC-ELM的数学表达形式,并在不同的门模型下推导了LMK-OC-ELM中局部核权重的优化方法;在获取局部核权重的基础上,定义了离线故障检测所需的统计检验量与阈值,以便工程实现。将所提方法应用于某型接收机,结果表明,在训练时间可控的前提下,与4种常见的一类分类(one-class classification, OCC)算法相比,所提方法可均衡地提高召回率、查准率和特异度,以LMK-OC-ELM-sig为代表,其在F1、曲线下方面积(area under curve, AUC)、G-mean和准确率4个指标上,比最近提出的局部多核异常检测(localized multiple kernel anomaly detection, LMKAD)方法分别提高了1.60%、1.57%、1.53%和2.23%。     

基于动态软聚类的航空电子部件LMKELM诊断模型

为提高小样本条件下航空电子设备模块级故障诊断精度,基于动态软聚类的自适应特点与局部多核学习(local multiple kernel learning,LMKL)的局部特征表达能力,提出一种新的局部多核超限学习机(local mul-tiple kernel extreme learning machine,LMKE...     

基于改进稀疏KELM的在线非平稳动态系统状态预测方法

本文针对基于核的增量超限学习机(kernel based incremental extreme learning machine，KB-IELM)对非平稳动态系统的时变状态跟踪能力不足的问题，提出一种新型的状态预测方法。通过融合遗忘因子和自适应时变正则化因子构建新的目标函数。通过最小化字典的快速留一交叉验证(fast leave-one-out cross-validation, FLOO-CV)误差，选择具有预定规模的关键节点以构成字典。通过融合遗忘因子，为字典中各关键节点按时间顺序分配不同权重。基于FLOO-CV原则，使用天牛须搜索(beetle antennae search，BAS)算法为不同的非线性区域赋予不同的正则化参数。通过矩阵初等变换和分块求逆，实现核权重向量的在线递推更新。将模型应用于非平稳Mackey-Glass混沌时间序列预测和某型飞机发动机的状态预测。所提算法相比于最新的非平稳在线序列核超限学习机(non-stationary online sequential kernel extreme learning machine，NOS-KELM)和融合自适应正则化因子的在线稀疏核超限学习机(online sparse kernel extreme learning machine with adaptive regulation factor, OSKELM-ARF)两种方法，其训练精度分别提升了66.67%、50.72%、预测精度提升了67.02%、56.34%，最大预测误差减少了67.27%、51.09%，平均相对误差率分别减少了67.18%、59.62%。实验证明所提算法有效提升了在线预测的精度。     

基于改进稀疏KELM的在线非平稳动态系统状态预测方法

本文针对基于核的增量超限学习机(kernel based incremental extreme learning machine,KB-IELM)对非平稳动态系统的时变状态跟踪能力不足的问题,提出一种新型的状态预测方法。通过融合遗忘因子和自适应时变正则化因子构建新的目标函数。通过最小化字典的快速留一交叉验证(fast leave-one-out cross-validation, FLOO-CV)误差,选择具有预定规模的关键节点以构成字典。通过融合遗忘因子,为字典中各关键节点按时间顺序分配不同权重。基于FLOO-CV原则,使用天牛须搜索(beetle antennae search,BAS)算法为不同的非线性区域赋予不同的正则化参数。通过矩阵初等变换和分块求逆,实现核权重向量的在线递推更新。将模型应用于非平稳Mackey-Glass混沌时间序列预测和某型飞机发动机的状态预测。所提算法相比于最新的非平稳在线序列核超限学习机(non-stationary online sequential kernel extreme learning machine,NOS-KELM)和融合自适应正则化因子的在线稀疏核超限学习机(online sparse kernel extreme learning machine with adaptive regulation factor, OSKELM-ARF)两种方法,其训练精度分别提升了66.67%、50.72%、预测精度提升了67.02%、56.34%,最大预测误差减少了67.27%、51.09%,平均相对误差率分别减少了67.18%、59.62%。实验证明所提算法有效提升了在线预测的精度。     

基于核函数强化学习的抗干扰频点分配

针对学习未知动态的干扰图样问题，提出一种基于核函数强化学习的雷达与通信抗干扰频点协作算法。与需要获得干扰模式、参数等先验知识的研究相反，所提算法能够利用过去时隙中频点的使用情况来优化抗干扰频点分配策略。首先，通过核函数的强化学习来应对维度诅咒问题。其次，基于近似线性相关性的在线内核稀疏化方法，确保了抗干扰频点分配算法的稀疏性。最后，仿真结果验证了所提算法的有效性。得益于稀疏化码字对于系统动态特性的学习，所提算法与传统基于Q学习的抗干扰频点分配算法相比，收敛时间更短，并且可以快速规避外部未知干扰源的干扰。     

基于模糊C-均值聚类与支持向量机的PMV指标预测系统

为了更好地预测室内热舒适度PMV指标,在分析模糊C-均值聚类方法与支持向量机方法的优势和互补性后,探讨了二者的结合方法,提出了一种基于模糊C-均值聚类预处理的支持向量机PMV指标预测系统.该方法把复杂的数据集看作多个群体的混合,每个群体采用单一的回归模型进行描述,使得大规模数据集的回归估计问题变成了一个多模型估计问题.将该系统应用于PMV指标预测中,与标准支持向量机方法相比, 得到了较高的预测精度,从而说明了基于模糊C-均值聚类方法作为信息预处理的支持向量机学习系统的优越性.     

基于极限学习机和boosting多核学习的目标跟踪算法

如何构造鲁棒的分类器一直是基于判别式的目标跟踪算法研究的热点,近些年多核学习通过线性组合多个核分类器达到了更好的分类性能,受到了广泛的关注。传统的多核学习需要解复杂的最优化问题,很难直接应用到目标跟踪中,因此提出一种基于boosting学习框架的多核学习算法,使目标跟踪在复杂场景下可以保持跟踪的实时性和准确性。为了进一步减少计算量和提升分类性能,采用极限学习机(extreme learning machine,ELM)作为基分类器,ELM结构简单,训练速度非常快,并且比支持向量机有更好的泛化能力。最后,将本文算法与其他先进的跟踪算法在多个公开视频序列中进行比较,验证了本文算法性能的有效性。     

自适应在线增量ELM的故障诊断模型研究

为满足现役装备根据故障样本数据集积累的特点进行自适应故障诊断的需求, 本文将极限学习机(extreme learning machine, ELM) 的数据增量学习、隐藏层增量学习和输出层增量学习(类增量学习)3种增量学习模式, 融合到一个统一的学习框架内, 提出一种凸最优自适应增量在线顺序ELM(convex optimal adaptive incremental online sequential ELM, COAIOS-ELM)。模型能够根据增量学习中误差的变化情况, 自适应地增加隐藏层神经元, 减小分类误差; 并可根据增量数据集中新出现的故障类别, 进行相应的类增量学习, 增加故障诊断的范围。有效解决了ELM增量学习过程中模型自适应动态选择最佳网络结构的问题, 提高模型的故障诊断的精度和故障诊断的范围。本文选择UCI数据集中公共数据集和Biquad低通滤波电路故障诊断数据集, 通过与类增量ELM (class incremental ELM, CI-ELM)模型对比实验, 验证了所提方法的有效性。     

Multiclassification algorithm and its realization based on least square support vector machine algorithm

1.INTRODUCTION Thedatabasedmachinelearningasastatisticlearning methodplaysanimportantpartinmodernintelligent technology.Basedontheresearchofstatisticlearning theory,VapnikVNpointedouttheproblemofexpe riencedriskminimization,andpresentedthenotionof minimizingstructurerisk.Upontheabovetheory,herecomesthesupportvectormachine(SVM)algo rithm[1].Itisespeciallyaimedatfinitesamples,and wecanfinallygettheoptimalsolutionsfortheexist ed informationbutnotforthesituationoftraditional statistictheory…     

基于监督核熵成分分析的发动机磨损故障诊断

针对发动机受工作环境影响,导致油液光谱数据存在大量冗余信息且具有非线性结构,从而影响发动机故障诊断结果的问题,提出监督核熵成分分析(supervisedkernelentropycomponent analysis,SKECA)的特征提取方法;该方法在核熵成分分析基础上引入监督学习算法,提取油液光谱数据的内在几何特征,使提取后的故障特征中包含判别信息,并利用遗传算法(genetic algorithm,GA)寻找参数来优化特征提取的结果,采用支持向量机对故障特征进行分类。结果表明:采用SKECA进行特征提取能够有效提高发动机故障诊断精度。     

基于自适应聚类流形学习的增量样本降维与识别

为了解决局部线性嵌入(locally linear embedding, LLE)流形学习算法无法自适应确定重构区间和不能进行增量学习等问题,提出了一种自适应聚类增量LLE(clustering adaptively incremental LLE,C-LLE)目标识别算法。该算法通过建立高维非线性样本集的局部线性结构聚类模型,对聚类后的类内样本采用线性重构,解决了LLE算法样本重构邻域无法自适应确定的问题;通过构建降维矩阵,解决了LLE算法无法单独对增量进行降维和无法利用增量对目标进行识别的问题。实验表明,本文算法能够准确提取高维样本集的低维流形结构,具有较小的增量降维误差和良好的目标识别性能。     

多属性决策的支持向量机方法

为获取和表达决策者的偏好,实现对决策方案的选择,提出了基于支持向量机的多属性决策方法.首先,分析了多属性决策支持向量机方法的原理.其次,提出了基于属性效用函数估计的学习样本构造方法,从决策问题本身抽取学习样本.最后给出了一个算例.     

基于自适应变异PSO-SVM的APU性能参数预测模型

为提高辅助动力装置(auxiliary power unit,APU)性能参数预测的精度,针对支持向量机(support vector machine,SVM)模型在实际使用中遇到的参数选择问题,采用自适应变异粒子群优化(particle swarm opti-mization,PSO)算法实现对SVM惩罚参数和核参数...     

一种基于混合策略的孤立点检测方法

孤立点检测面临数据不平衡和代价敏感两个问题。利用改进的一类支持向量机对数据集进行重构,并结合代价敏感支持向量机提出了一种混合策略检测方法。首先在传统的一类支持向量机优化过程中设定不同权重,通过刻画超平面消除部分正常样本进而平衡数据集;重构过程保留了孤立点信息,同时能克服数据混叠现象。通过代价敏感支持向量机对样本进行训练,利用受试者工作特征分析作为评判依据搜索最优参数,进而调节阈值获得孤立点检测模型。仿真实验结果表明,本文方法能提高检测精度,同时有效降低总的误分类代价。