一种改进的最小二乘支持向量机算法

最小二乘支持向量机是标准支持向量机的一种扩展,它是支持向量机在二次损失函数下的一种形式.它用等式约束代替不等式约束,求解过程变为解一组等式方程,避免了求解耗时的二次规划问题,但同时也丧失了标准支持向量机的稀疏性,影响了二次学习的效率.针对上述问题,本文提出了一种改进的最小二乘支持向量机增量学习方法.改进的最小二乘支持向量机算法采用自适应剪枝方法对解进行稀疏,根据每次训练得到的分类器性能来设定剪枝阚值和样本增量的大小,如果得到的分类器性能好,剪枝阈值和样本增量就大,反之,剪枝阚值和样本增量就小,从而提高了最小二乘支持向量机训练效率,解决了稀疏性问题.最后,仿真实验表明该算法方案可行.     

基于参数优化的最小二乘支持向量机HEV阀控铅酸蓄电池SOC预测

针对电池容量预测问题,引入最小二乘支持向量机(LS-SVM)方法用于判断混合动力汽车(HEV)阀控铅酸蓄电池(VRLA)的荷电状态(SOC)。考虑到最小二乘支持向量机的参数选择会对预测结果产生较大的影响,提出一种基于参数优化的最小二乘支持向量机预测方法。首先,在非线性回归预测模型的训练过程中,采用模拟退火算法来确定LS-SVM的初始值参数,从而更好地反映预测模型的复杂度,以此提高状态预测的精度。其次,由于预测模型在应对不良数据时可能出现误差增大的问题,分别采用贝叶斯证据框架(BEF)优化算法和留一交叉验证(LOOCV)优化算法来增强预测模型的抗差能力。研究结果表明:留一交叉验证优化算法具有较高的预测精度,实用性强,有效性高。     

稀疏最小二乘支持向量机及其应用

提出基于特征向量选择(feature vector selection,FVS)的稀疏最小二乘支持向量机(sparse least squares support vector machine,SLS-SVM)模型,解决最小二乘支持向量机(least squares support vector machine,LS-SVM)稀疏化问题。采用FVS在特征空间构建特征向量子集,对训练样本进行稀疏线性重构;将稀疏化的特征向量作为支持向量,从而实现对LS-SVM稀疏化建模。将SLS-SVM模型进行弓网系统的仿真对比实验,结果表明SLS-SVM模型在取得高预报精度的同时,可实现支持向量的高度稀疏化,从而加快模型预报速度。     

加权最小二乘支持向量机与最小二乘问题的关系

研究了加权最小二乘支持向量机与最小二乘法的关系．证明了用加权最小二乘支持向量机作函数估计与在特征空间中用最小二乘法得到的解是一致的．加权最小二乘支持向量机选择核相当于最小二乘法选择基函数组．由此提出了采用加权最小二乘支持向量机解决最小二乘法问题的思想,保证解具有良好的推广性、鲁棒性与稀疏性．     

构造稀疏最小二乘支持向量机的网络入侵检测模型

从最小二乘支持向量机的稀疏表达出发,构建高效的基于稀疏最小二乘支持向量机的网络入侵检测模型,提出了一种通过基于核空间近似策略的有效低秩逼近来有效减小原始训练样本集中的支持向量数来实现最终模型的稀疏表达.以MIT KDD99数据集为基础,对所提出方法进行有效性验证,并与利用剪枝策略通过递归过程中不断减少模型中支持向量个数的稀疏化方法、基本最小二乘支持向量机以及标准支持向量机方法的性能进行对比.结果表明:基于核空间近似的最小二乘支持向量机稀疏化与标准最小二乘支持向量机相当;此外稀疏最小二乘支持向量机能够提高入侵检测响应速度.     

基于LS-SVM的变采样周期系统控制

针对变采样周期系统的控制,提出基于在线最小二乘支持向量机(LS-SVM)的预测控制方法.在LS-SVM的基础上,利用训练数据窗及训练数据阈值,推导出适合控制系统的在线训练方法.当在线LS-SVM的核函数取线性函数时,结合预测控制方法得到在线LS-SVM预测控制量的方程解,并将其应用于变采样周期系统.仿真显示了该方法的可行性、鲁棒性.     

LS-SVM在状态监测数据趋势预测中的应用

介绍了最小二乘支持向量机（LS-SVM）回归算法的基本原理，并使用MATLAB6．5结合LS-SVM工具箱对某型雷达磁控管状态监测数据进行了预测。     

基于LS-SVM的捷联惯组误差系数预测

针对目前小样本容量的捷联惯组误差系数预测精度不高的问题,采用最小二乘支持向量机(LS-SVM)对捷联惯组误差系数进行了预测研究,并以某型捷联惯组的某项陀螺漂移误差系数的历史数据为例进行了预测.结果表明,最小二乘支持向量机具有优秀的小样本数据学习能力和预测能力.     

基于GMM特征变换和模糊LS-SVM的说话人辨认

针对最小二乘支持向量机在语音数据大样本输入下的局限性,提出了一种基于GMM特征变换和模糊LS-SVM的学习算法,结合高斯混合模型在拟合数据分布方面和最小二乘支持向量机在分类辨别方面的突出优势,有效地提取说话者特征信息,压缩了数据,解决了大样本数据输入下最小二乘支持向量机的训练速度和测试精度问题,同时在LS-SVM系统中引入模糊隶属度函数,很好地解决了不可分数据的输出.理论研究和实验表明,所提方法能充分地利用训练数据,使得系统在具有更好辨别能力的同时提高了鲁棒性和识别率.     

叠加支持向量机及其在醋酸精馏软测量中的应用

针对在高维输入空间数据点的异常稀疏性(维数灾难)会导致支持向量机回归模型产生偏差的问题,提出了一种基于叠加模型的支持向量机回归方法———叠加支持向量机回归(AddS-VR)。AddSVR的实现是通过对每一维输入进行核化,然后将每一个核空间进行叠加得到,基于叠加模型可以克服维数灾难的问题,使得其在处理高维问题时估计偏差减小。为了更方便、迅速地实现AddSVR,还提出了对支持向量机的一种简化的二次规划描述。将AddSVR用于醋酸共沸精馏中塔底醋酸组分的预测,仿真实验结果表明,AddSVR模型与传统的SVR和最小二乘支持向量机回归(LS-SVM)模型相比有更好的预测效果。     

基于正则化协同表示的鲁棒PCA人脸识别

针对人脸图像复杂环境变化,提出了一种基于正则化协同表示的鲁棒PCA人脸识别算法。算法首先通过协同表示计算重构样本与测试样本之间的残差,根据残差选取与测试样本临近的训练样本组成新的字典;然后在该字典上通过鲁棒PCA依次进行低秩误差分解,并计算误差矩阵的平滑性、稀疏性;最后联合协同表示的残差以及低秩分解中的平滑性和稀疏性构建判别准则进行人脸图像的分类识别;在ORL、AR等人脸库的实验表明:基于正则化协同表示的鲁棒PCA人脸识别算法不仅能够在复杂环境变化下取得良好的识别性能,而且保持了协同表示的优势,大大减少运行时间。     

基于矢量基学习的自适应迭代最小二乘支持向量机回归算法

为增强最小二乘支持向量机(LS-SVM)回归建模的稀疏性、鲁棒性和实时性,在加权LS-SVM的基础上,提出了基于矢量基学习的自适应迭代回归算法。在训练过程中,该算法通过矢量基学习和自适应迭代相结合的方法得到1个小的支持向量集,同时采用加权方法确定权值以减小训练样本中非高斯噪声的影响。回归学习和动态系统辩识的仿真结果表明:在回归建模精度相似的情况下,该算法确定的支持向量为全部学习样本的4.9%~8.9%,训练时间为标准LS-SVM的0.011%~0.383%;由于能够鲁棒跟踪时变非线性系统的动态特性,适合在线实时训练;可进一步用于非线性系统的建模和实时控制研究。     

PSA-ANFIS方法的研究

矿山中的岩土工程灾害预测问题,是采矿工程领域亟需研究解决的重大课题.本文即针对这些问题,采用正交试验设计法和模式搜索算法研究了自适应神经模糊推理系统(ANFIS)的训练参数和模型结构的优化方法,提出和建立了基于模式搜索算法的自适应神经模糊推理方法(PSA-ANFIS).进一步采用一多峰函数进行离散,构建了训练数据对、检测数据对和预测数据对,对PSA-ANFIS的拟合能力和预测能力进行了研究.结果表明,无论是在拟合精度和预测精度上,还是在训练参数的调整、模型结构的建立和训练过程上,PSA-ANFIS均适合于解决矿山岩土工程灾害预测这一高度非线性的映射问题.     

Event Type Recognition Based on Trigger Expansion

Event extraction is an important research point in information extraction, which includes two important sub-tasks of event type recognition and event argument recognition. This paper describes a method based on automatic expansion of the event triggers for event type recognition. The event triggers are first extended through a thesaurus to enable the extraction of the candidate events and their candidate types. Then, a binary classification method is used to recognize the candidate event types. This method effectively improves the unbalanced data problem in training models and the data sparseness problem with a small corpus. Evaluations on the ACE2005 dataset give a final F-score of 61.24%, which outperforms traditional methods based on pure machine learning.     

语音压缩感知及其重构算法

在研究语音信号在小波域的稀疏性的基础上,提出双正交小波变换的方法,与一维小波变换方法相比稀疏度提高10%～25%.此外,提出基于自适应次梯度投影算法(ASPM)进行压缩感知(CS)语音信号重构的方案.ASPM算法首先根据压缩感知重构模型建立包含稀疏重构信号并具有随机属性的凸集,然后运用次梯度投影的思想将该凸集的投影转化...     

基于特征迁移的在线教育导师推荐方法

在推荐系统中,数据稀疏和数据冷启动问题一直是待解决的重要难题。针对推荐系统中用户数量过少、评价数据稀疏、模型启动困难等问题,以及针对在线教育领域存在特征关联的特性,提出了一种全新的基于特征迁移的导师推荐方法。为了迁移出更多有用的信息,该方法基于有限的领域特征,在目标领域和训练领域之间建立了一个基于特征相似度的桥梁。首先,获取训练领域和目标领域的推荐矩阵。然后,向量化用户和项目的特征空间,计算目标领域和训练领域之间特征的相似度。最后,构建特征迁移模型对目标领域进行迁移,得出目标推荐矩阵。研究结果表明,提出的方法能够很好地解决在线教育导师推荐领域中数据冷启动以及数据稀疏问题,与传统的推荐方法相比取得了很好的效果。     

基于深度随机森林的商品类超短文本分类研究

近年来，随着移动通信和信息技术的发展，网络上和实际应用场景中需要处理越来越多的长度不超过20字并且不带有辅助标签信息的超短文本数据.超短文本因其固有的词义多义性、文本特征极度稀疏、上下文明显缺失以及明辨语义困难等特点，如何对其进行有效地分类成为文本分类领域亟需解决的新问题.本文针对传统的短文本分类方法KNN和决策树在商品类超短文本上存在的由于特征稀少而导致分类器性能不佳的问题，提出了一种基于深度随机森林的商品类超短文本分类方法.该方法采用"分流"策略，利用外部知识库进行辅助，对知识库中存在明确类别的商品名直接确定其分类，对无法直接抽取类别的商品名，采用Word2vec对其在外部知识库中的描述进行向量化，并利用深度随机森林对向量进行分类，同时不断优化分类器直到训练集大小达到设定的阈值.实验结果表明，与传统的分类方法KNN和决策树相比，本文提出的分类方法在平均准确率上分别提高了22.78%和17.22%，平均召回率上分别提高了22.85%和15.23%.      

一种快速正交频分复用频率跟踪算法

提出了一种快速的正交频分复用(OFDM)系统载波频率跟踪算法，该方法采用基于变步长的自适应滤波算法。经过频率粗同步后，以变步长的最小均方算法(VLMS)进行频率补偿。在算法的初始使用大的步长值加快算法的收敛速度，然后使用小的步长使残留的频率偏移最小。由于不需要训练序列，故该算法是盲的，没有频带效率损失。仿真结果表明，所提出方案能显著提高误码率性能，高精度的频率偏移估计几乎可以使频率偏移得到完全补偿，且算法的收敛速度比固定步长的算法快得多。     

基于压缩感知过程的语音增强

压缩感知(compressive sensing,CS)是一种基于信号稀疏性的采样方法,可以有效提取信号中所包含的信息。该文提出了一种基于CS过程的语音增强新算法。算法利用语音在离散余弦变换(discrete cosine transform,DCT)域下的稀疏性,采用Hadamard矩阵对带噪语音进行压缩测量,通过改进的正交匹配跟踪(orthogonal matching pursuit,OMP)算法恢复语音信号,实现语音增强。与经典谱减法和子空间算法进行实验对比分析,结果表明:该算法在降噪性能上优于经典谱减法和子空间算法。