不平衡最小二乘支持向量机

针对标准的最小二乘支持向量机(LSSVM)没有考虑样本分布不平衡的问题提出一种称为不平衡最小二乘支持向量机的算法.首先用标准的最小二乘支持向量机对原始数据进行初步训练,产生一个分离超平面的法向量.然后把高雏样本投影到该法向量上得到一维数据.最后由该一维数据的标准差以及样本数量差异所提供的信息,给出两类数据惩罚因子比例,再用标准的最小二乘支持向量机进行第二次训练,对分离超平面进行调整.该方法克服传统方法只考虑数量的不平衡的不足,将原有样本集中具有的分类信息充分提取出来,提高了最小二乘支持向量机的泛化能力.实验结果表明,所提方法可以有效提高不平衡数据的分类性能.     

最小二乘支持向量机在强化学习系统中的应用

将连续状态空间下的Q学习构建为最小二乘支持向量机的回归估计问题,利用最小二乘支持向量机良好的泛化以及非线性逼近性能实现由系统状态-动作对到Q值函数的映射。为了保证计算速度以及适应Q学习系统在线学习的需要,最小二乘支持向量机的训练样本是窗式移动的,即在Q学习系统学习的同时获取样本数据并进行最小二乘支持向量机的训练。小车爬山控制问题的仿真结果表明该方法学习效率高,能够有效解决强化学习系统连续状态空间的泛化问题。     

基于加权最小二乘支持向量机的温室小气候建模与仿真

分析了温室小气候系统结构,采用加权最小二乘支持向量机回归方法在线建立温室小气候模型,并进行仿真研究,取得了较好的效果.最小二乘支持向量机中引入加权因子,使其回归估计对非高斯分布噪声及野点数据具有较好的鲁棒性.最后将此方法和带有智能监督级的渐消记忆递推增广最小二乘方法的在线建模及仿真结果进行了对比分析.     

模糊偏最小二乘支持向量机的应用研究

基于偏最小二乘回归法和模糊隶属度函数,提出了一种模糊偏最小二乘支持向量机.传统最小二乘支持向量机引入模糊加权系数后,可以根据训练样本点的情况调整折衷系数,有效地提高了最小二乘支持向量机的抗噪性能.同时利用偏最小二乘回归法,克服了求解线性回归方程中自变量向量间的多重相关性问题.利用 sinc 函数对该建模方法进行了测试,并进一步对铜转炉吹炼时间的预测问题进行了仿真研究.仿真结果表明,该建模方法具有预测准确、跟踪性能好的优点.     

最小二乘支持向量机参数选择方法及其应用研究

针对最小二乘支持向量机参数选择问题，提出了一种基于三步搜索技术的参数选择方法，理论分析表明了这种方法的有效性和优越性，可以优化选择最小二乘支持向量机参数。然后把该方法用于钢材淬透性建模中的参数选择，仿真结果表明，这种方法可以得到优化的参数，从而获得精确的建模效果。     

基于GA和Bootstrap的最小二乘支持向量机参数优选

支持向量机是一种新型的学习方法,该方法以结构风险最小化原则取代传统机器学习中的经验风险最小化原则,在小样本的机器学习中显示出了优异的性能.传统的支持向量机是解凸二次规划问题,而最小二乘支持向量机是解等式线性方程,显得尤为方便.针对最小二乘支持向量机的特点,通过Bootstrap建立适当的性能指标,用遗传算法(GA)优化最小二乘支持向量机的有关参数,并在非线性经济系统中应用.用最小二乘支持向量机对非线性经济系统进行预测的结果与神经网络预测的结果比较证明,该模型的预测精确度是令人满意的,文中提出的方法是可行的.     

用于回归估计的支持向量机方法

用于回归估计的支持向量机方法以可控制的精度逼近非线性函数，具有全局最优、良好泛化能力等优越性能，得到广泛的研究。描述了该方法的基本思想，着重讨论了V-SVM、最小二乘SVM、加权SVM、线性SVM等支持向量机的新方法，降低训练时间和减少计算复杂性的分解法、SMO及增量学习算法。在非线性系统参数辨识、预测预报、建模与控制研究中，支持向量机是很有发展前途的研究方法。     

基于压缩感知的多核稀疏最小二乘支持向量机

为了提高稀疏最小二乘支持向量机对高维、异构数据的泛化性能,提出新型的基于压缩感知的稀疏多核最小二乘支持向量机算法。首先根据压缩感知理论,用正交匹配追踪算法对最小二乘支持向量机的支持向量进行稀疏化,再利用线性多核扩展法求出新的核函数矩阵。将新的核矩阵应用到最小二乘支持向量机,得到稀疏多核最小二乘支持向量机的解,用稀疏的支持向量实现函数回归。理论分析与数据实验对比结果表明该模型对于高维、异构数据能够更快更准确地进行训练,大大提高了模型的泛化能力和运算速度。     

LS-SVM与多层前向网络的非线性回归性能比较

在阐述支持向量机(SVM)和最小二乘支持向量机(LS-SVM)的原理并比较了两者的优缺点后,将LS-SVM与多层前向网络中的两种典型网络BP网络和RBF网络,分别应用于装载机载重动态测量的非线性函数回归估计中,对这三种网络在函数逼近和泛化能力两方面的性能进行比较研究。仿真结果表明,LS-SVM在精度和泛化性能两方面做到了最好的折衷,是用于非线性函数回归分析的一种很有效的方法。     

最小二乘支持向量机的参数优选方法及应用

支持向量机是一种新型的学习方法,该方法以结构风险最小化原则取代传统机器学习中的经验风险最小化原则,在小样本的机器学习中显示出了优异的性能.传统的支持向量机是解凸二次规划问题,而最小二乘支持向量机是解等式线性方程,显得尤为方便,通过建立适当的性能指标,用遗传算法优化最小二乘支持向量机的有关参数,并在非线性经济系统中应用.用最小二乘支持向量机对非线性经济系统进行预测并与其它方法的预测结果比较,结果证明,该模型的预测精确度是令人满意的,文中提出的方法是可行的.     

基于高斯过程的软测量建模

软测量技术在工业过程中得到了广泛的应用，其核心问题就是建立软测量模型。提出了一种基于高斯过程的软测量建模方法，高斯过程是一种有着概率意义的核学习机，在不牺牲性能的条件下，与人工神经网络和支持向量机相比具有实现简单的特点，理论分析和仿真研究表明了高斯过程在软测量建模中的优越性。     

基于支持向量机的非线性模型预测控制

支持向量机是基于统计学习理论的新一代机器学习技术。由于使用结构风险最小化原则代替经验风险最小化原则,使它较好地解决了小样本情况下的学习问题。又由于采用了核函数思想,使它把非线性问题转化为线性问题来解决,降低了算法的复杂度。提出了一种基于支持向量机的模型预测控制结构,并使用一个新的随机搜索优化算法来求解预测控制律,计算机仿真证明了所设计的控制算法的正确性和有效性。     

基于支持向量机与概率输出网的深度学习模型

本文提出了基于支持向量机与概率输出网络的深度学习回归模型.该回归模型利用深度学习的深层结构,以及支持向量机的泛化能力、概率输出网络中的条件概率估计特点,建立了多层支持向量机的深度学习结构,避免了深度学习的参数选择问题.其中核参数的选择域呈网格状,通过求取输出对应β分布的累积概率分布和经验累积概率分布的K-S检验,求取一致性的p值最大对应的核参数作为支持向量机模型的核参数.对应的输出为模型提取的特征,作为下一层的输入,直至模型达到结束条件为止.仿真实验通过三个标准的回归数据集证明了本文提出模型的有效性.     

广义支持向量机优化问题的极大熵方法

依据最优化理论中的KKT互补条件建立了广义支持向量机的无约束优化模型,并给出了一种有效的光滑化近似解法极大熵方法,为求解支持向量机优化问题提供了一种新途径.该方法特别易于计算机实现,理论分析和数值实验结果表明了模型和算法的可行性和有效性.     

惯导工具误差分离与折合的支持向量机方法

制导工具误差分离与折合是导弹精度评定中的重要问题。由于工具误差分离存在着很强的复共线性,传统的最小二乘方法与主成分方法不能很好的解决这一问题。提出了利用支持向量机方法获得工具误差系数估计的思想,并将估计结果应用用到弹道误差折合中,与最小二乘和主成分方法相比,支持向量机获得的误差系数估计与真值更加接近,分离残差较小,折合得到的全程弹道遥外差更加接近于真实值。     

支持向量机用于性能退化的可靠性评估

为解决性能退化轨迹建模中的小样本训练问题,研究了基于统计学习理论的支持向量机回归原理,提出了基于支持向量机回归模型的产品性能退化轨迹建模、寿命预测及可靠性评估方法.给出两种性能退化轨迹的支持向量机回归模型——单一模型和加权模型.实例分析表明,所提方法有较好的预测精度.加权支持向量机回归模型可在早期实现较高精度的寿命预测,提高性能退化的可靠性评估精度,从而可缩短试验时间,节约经费开支.     

基于模糊核聚类的SVM多类分类方法

针对SVM在大类别模式分类中存在的问题,提出了一种基于模糊核聚类的SVM多类分类方法,并给出了一种高效的半模糊核聚类算法。该方法基于模糊核聚类方法生成模糊类,并采用树结构将多个SVM组合起来实现多类分类。模糊核聚类方法不但能够实现更为准确的聚类,而且能够挖掘模糊类的外围、不同模糊类之间的交叠情况等信息,利用这些信息能有效提高分类器的性能。实验表明,所提方法比传统方法具有更高的速度和精度。     

Local spatial properties based image interpolation scheme using SVMs

Image interpolation plays an important role in image process applications. A novel support vector machines （SVMs） based interpolation scheme is proposed with increasing the local spatial properties in the source image as SVMs input patterns. After the proper neighbor pixels region is selected, trained support vectors are obtained by training SVMs with local spatial properties that include the average of the neighbor pixels gray values and the gray value variations between neighbor pixels in the selected region. The support vector regression machines are employed to estimate the gray values of unknown pixels with the neighbor pixels and local spatial properties information. Some interpolation experiments show that the proposed scheme is superior to the linear, cubic, neural network and other SVMs based interpolation approaches.     

Designing a Hybrid Intelligent Mining System for Credit Risk Evaluation

In this study, a novel hybrid intelligent mining system integrating rough sets theory and support vector machines is developed to extract efficiently association rules from original information table for credit risk evaluation and analysis. In the proposed hybrid intelligent system, support vector machines are used as a tool to extract typical features and filter its noise, which are different from the previous studies where rough sets were only used as a preprocessor for support vector machines. Such an approach could reduce the information table and generate the final knowledge from the reduced information table by rough sets. Therefore, the proposed hybrid intelligent system overcomes the difficulty of extracting rules from a trained support vector machine classifier and possesses the robustness which is lacking for rough-set-based approaches. In addition, the effectiveness of the proposed hybrid intelligent system is illustrated with two real-world credit datasets.