基于压缩感知的多核稀疏最小二乘支持向量机

为了提高稀疏最小二乘支持向量机对高维、异构数据的泛化性能,提出新型的基于压缩感知的稀疏多核最小二乘支持向量机算法。首先根据压缩感知理论,用正交匹配追踪算法对最小二乘支持向量机的支持向量进行稀疏化,再利用线性多核扩展法求出新的核函数矩阵。将新的核矩阵应用到最小二乘支持向量机,得到稀疏多核最小二乘支持向量机的解,用稀疏的支持向量实现函数回归。理论分析与数据实验对比结果表明该模型对于高维、异构数据能够更快更准确地进行训练,大大提高了模型的泛化能力和运算速度。     

用于回归估计的最小二乘广义支持向量机

提出了一种用于回归估计的最小二乘广义支持向量机.这种最小二乘广义支持向量机的核函数同标准的支持向量机相比没有或者只有很少的限制.将这种用于回归估计的最小二乘广义支持向量机表示成标准的二次规划(QP)问题,采用基于矩阵分裂的超松弛法同投影梯度法相结合的算法来解这一QP问题.根据超松弛法的特点,这一算法可以处理大量数据的情形.     

模糊偏最小二乘支持向量机的应用研究

基于偏最小二乘回归法和模糊隶属度函数,提出了一种模糊偏最小二乘支持向量机.传统最小二乘支持向量机引入模糊加权系数后,可以根据训练样本点的情况调整折衷系数,有效地提高了最小二乘支持向量机的抗噪性能.同时利用偏最小二乘回归法,克服了求解线性回归方程中自变量向量间的多重相关性问题.利用 sinc 函数对该建模方法进行了测试,并进一步对铜转炉吹炼时间的预测问题进行了仿真研究.仿真结果表明,该建模方法具有预测准确、跟踪性能好的优点.     

不平衡最小二乘支持向量机

针对标准的最小二乘支持向量机(LSSVM)没有考虑样本分布不平衡的问题提出一种称为不平衡最小二乘支持向量机的算法.首先用标准的最小二乘支持向量机对原始数据进行初步训练,产生一个分离超平面的法向量.然后把高雏样本投影到该法向量上得到一维数据.最后由该一维数据的标准差以及样本数量差异所提供的信息,给出两类数据惩罚因子比例,再用标准的最小二乘支持向量机进行第二次训练,对分离超平面进行调整.该方法克服传统方法只考虑数量的不平衡的不足,将原有样本集中具有的分类信息充分提取出来,提高了最小二乘支持向量机的泛化能力.实验结果表明,所提方法可以有效提高不平衡数据的分类性能.     

基于LS-SVM的机器人逆运动学建模

提出了基于最小二乘支持向量机的机器人逆运动学建模方法，阐述了基本设计思想和具体算法过程，与RBF神经网络相比，最小二乘向量机的优点在于其训练过程遵循结构风险最小化原则，不易发生过学习现象。它通过解一组线性方程组得到全局唯一最优解。其拓扑结构在训练结束时自动获得而不需要预先确定，通过对二自由度刚性机器人的仿真，结果验证了该方法的有效性和可行性。     

基于非线性共轭梯度法的唯相直接数据域算法

提出一种基于非线性共轭梯度法的唯相直接数据域最小二乘算法。根据标准直接数据域算法得到代价函数,由小相位扰动效应和泰勒展式推导得到代价函数的梯度,使用非线性共轭梯度法对代价函数进行优化,最终确定最优唯相权值向量。作为一种唯相自适应算法,它在硬件实现上比传统算法更具简单性。同时,它只对单快拍数据进行处理,避免了样本协方差矩阵的构造以及矩阵求逆运算,更适合于实时处理。仿真结果表明,算法具有良好的信号恢复和干扰置零性能。     

最小二乘超球多类支持向量机

超球体多类支持向量机(HSMC-SVM)是一种直接型多类分类器,具有训练速度快,检测效率高的优点,但由于HSMC-SVM使用一阶范数软间隔作为目标函数的惩罚项,使得其训练精度受到一定影响,为了提高HSMC-SVM训练精度,将最小二乘法引入到HSMC-SVM中,提出了最小二乘超球多类支持向量机(LSHS-MCSVM)的概念,并且分析了它的训练算法和判决规则,从而形成了完整的LSHS-MCSVM分类理论.实验表明,LSHS-MCSVM无论在训练速度上还是在泛化性能上都要优于HSMC-SVM,适合于分类类别多,样本数量大的多分类场合.     

自训练多项式光滑的半监督支持向量机

为了处理自训练半监督支持向量机算法中每次循环都需要求解二次规划因此效率低的问题,采用直接求解支持向量机的原始优化问题,由此得到一个不光滑的无约束优化问题.将正号函数展开为无穷多项式级数,由此得到了一族光滑函数,用多项式光滑函数对无约束优化问题进行逼近,并用共轭梯度算法求解模型.在人工数据和UCI数据集上的实验结果显示,给出的算法效率高,能保证标记样本很少时的分类精度并且不因标记样本的增多而明显提高分类精度.     

最小二乘支持向量机在强化学习系统中的应用

将连续状态空间下的Q学习构建为最小二乘支持向量机的回归估计问题,利用最小二乘支持向量机良好的泛化以及非线性逼近性能实现由系统状态-动作对到Q值函数的映射。为了保证计算速度以及适应Q学习系统在线学习的需要,最小二乘支持向量机的训练样本是窗式移动的,即在Q学习系统学习的同时获取样本数据并进行最小二乘支持向量机的训练。小车爬山控制问题的仿真结果表明该方法学习效率高,能够有效解决强化学习系统连续状态空间的泛化问题。     

直接支持向量回归机

将超平面偏置项平方加入到最小二乘支持向量回归机(LSSVMR)的目标函数中,提出直接支持向量回归机(DSVMR)。该方法增强了求解问题的凸性,与LSSVMR相比,只需要求解一个与核矩阵类似的对称正定矩阵的逆就可以得到问题的解,再使用Cholesky分解和SMW(Sherman-Morrison-Woodbury)求逆公式,降低了计算复杂度,加快了学习速度,而且逼近能力与LSSVMR近乎相同。最后数值试验表明DSVMR可行且完全具有上述优势。     

CGLS-PBTG算法在介质粗糙面散射问题中的应用

针对采用矩量法分析大介电常数介质粗糙面的电磁散射问题,提出了将CGLS算法和PBTG算法相结合的算法。该算法是在PBTG算法的基础上,采用CGLS算法代替一般的共轭梯度法(CGM)来计算矩阵方程。由于PBTG算法所产生的矩阵方程的条件数非常大,直接采用CGM用时过长,而CGLS算法就很适合这类矩阵方程。通过计算实例可知,CGLS算法在满足精度要求的前提下,较CGM算法明显加快了计算速度,有效地改进了PBTG算法。     

基于GA和Bootstrap的最小二乘支持向量机参数优选

支持向量机是一种新型的学习方法,该方法以结构风险最小化原则取代传统机器学习中的经验风险最小化原则,在小样本的机器学习中显示出了优异的性能.传统的支持向量机是解凸二次规划问题,而最小二乘支持向量机是解等式线性方程,显得尤为方便.针对最小二乘支持向量机的特点,通过Bootstrap建立适当的性能指标,用遗传算法(GA)优化最小二乘支持向量机的有关参数,并在非线性经济系统中应用.用最小二乘支持向量机对非线性经济系统进行预测的结果与神经网络预测的结果比较证明,该模型的预测精确度是令人满意的,文中提出的方法是可行的.     

Local prediction of the chaotic fh-code based on LS-SVM

Support vector machine （SVM） is powerful to solve some problems such as nonlinear classification, function estimation and density estimation. To consider the chaotic fh （frequency hopping）-code＇s characters in chaotic dynamic system, the forecasting model of the support vector machine in combination with Takens＇ delay coordinate phase reconstruction of chaotic times is established and the least squares model for large-scale problems is used in local training for this model. Finally, a fh-code series generated by Logistic-Kent mapping is applied to verify the local prediction model. Simulation results show that the high accuracy and fault tolerant SVM model has an excellent performance in predicting the fh code, with a very low mean square error and a high relative coefficient.     

Multiclassification algorithm and its realization based on least square support vector machine algorithm

1.INTRODUCTION Thedatabasedmachinelearningasastatisticlearning methodplaysanimportantpartinmodernintelligent technology.Basedontheresearchofstatisticlearning theory,VapnikVNpointedouttheproblemofexpe riencedriskminimization,andpresentedthenotionof minimizingstructurerisk.Upontheabovetheory,herecomesthesupportvectormachine(SVM)algo rithm[1].Itisespeciallyaimedatfinitesamples,and wecanfinallygettheoptimalsolutionsfortheexist ed informationbutnotforthesituationoftraditional statistictheory…     

基于正交基函数的广义FIR模型辨识方法

为了解决高阶脉冲响应模型带来的分析和计算上的困难,利用系统的部分已知信息构造正交基函数,并将其引入到传统脉冲响应建模中,提出了一种广义脉冲响应模型辨识方法。该方法通过正交基函数对输入数据进行滤波,使得滤波后的数据蕴涵着系统的部分动态特性,但也使滤波后的数据不再满足时移特性,因而无法直接使用梯度算法对模型参数进行辨识。结合递推最小二乘原理,给出了模型参数的计算公式。最后给出了仿真算例,结果表明,给出的方法具有优良的性能,完全能够满足系统建模要求。     

A Convergent Algorithm for Continuously Optimal Location Problem

１　ＩｎｔｒｏｄｕｃｔｉｏｎＴｈｅｍｏｄｅｌｏｆｃｏｎｔｉｎｕｏｕｓｌｙｏｐｔｉｍａｌｌｏｃａｔｉｏｎｐｒｏｂｌｅｍｉｓ（Ｐ）　　ｍｉｎｘ∈Ｒｎｆ（ｘ），ｗｈｅｒｅｆ（ｘ）＝∫Ｄ（ｕ）ｙｘ－ｕｙｄｕ，ＲｎｄｅｎｏｔｅｓｔｈｅｎｄｉｍｅｎｓｉｏｎａｌＥｕｃｌｉｄｅａｎｓｐａｃｅ（ｎ２），ＤＲｎｉｓａｂｏｕｎｄｅｄＬｅｂｅｓｇｕｅｍｅａｓｕｒａｂｌｅｓｅｔａｎｄｉｔｓｍｅａｓｕｒｅ｜Ｄ｜＞０，（ｕ）＞０ｉｓａｂｏｕｎｄｅｄｉｎｔｅｇｒａｌｆｕｎｃｔｉｏｎ．Ｉｔｉｓｊｕｓｔｓｉｍｉｌａｒｔｏ…     

LS-SVM与多层前向网络的非线性回归性能比较

在阐述支持向量机(SVM)和最小二乘支持向量机(LS-SVM)的原理并比较了两者的优缺点后,将LS-SVM与多层前向网络中的两种典型网络BP网络和RBF网络,分别应用于装载机载重动态测量的非线性函数回归估计中,对这三种网络在函数逼近和泛化能力两方面的性能进行比较研究。仿真结果表明,LS-SVM在精度和泛化性能两方面做到了最好的折衷,是用于非线性函数回归分析的一种很有效的方法。     

高次有限元方程的一种并行预条件子

偏微分方程(PDEs)是大规模科学工程计算与数值仿真中的基本数学模型,有限元方法是数值求解偏微分方程的一类重要的离散化方法,高次有限元又是其中的一类常用有限元。针对一类基本的PDE模型(Poission方程)的高次有限元方程,设计了一种基于辅助变分问题的并行预条件子,并从理论上严格证明了该预条件子的条件数的一致有界性,数值实验验证了理论结果的正确性及相应预条件共轭梯度(PCG)法的高效性和鲁棒性。     

INS/双星组合导航半实物仿真研究

对INS/双星跑车试验数据进行了分析和处理,采用小波分解的方法去除了定点定位试验中的测量噪声,并对双星接收机的常值偏移进行了估计,仿真结果表明双星系统的定位精度在20米之内。在跑车试验中使用递推最小二乘法和Kalman滤波技术对INS/双星的位置组合方案进行了仿真。仿真结果表明,Kalman滤波技术比最小二乘算法具有更高的估计精度,它能有效地降低INS的位置误差。