基于核函数的学习算法

论述基于核函数的方法,包括支持向量机的分类、聚类与回归算法,基于核的Fisher判别分析、感知机和主成分分析,介绍学习算法、简化算法和多类分类等研究课题,及基于核函数方法的应用.     

基于自适应核函数的支持向量数据描述算法

为进一步提高支持向量分类器的分类精度和运行速度,提出了基于自适应核函数的支持向量数据描述分类算法。该算法的核心思想为：根据信息几何中保角映射的方法构造数据驱动的核函数修正算法,然后再利用修正的核函数训练支持向量数据描述分类算法。试验结果表明,该方法具有较好的分类精度和较快的运行速度。     

基于不确定性采样的自训练代价敏感支持向量机研究

针对样本集中的类不平衡性和样本标注代价昂贵问题,提出基于不确定性采样的自训练代价敏感支持向量机.不确定性采样通过支持向量数据描述评价未标注样本的不确定性,对不确定性高的未标注样本进行标注,同时利用自训练方法训练代价敏感支持向量,代价敏感支持向量机利用代价参数和核参数对未标注样本进行预测.实验结果表明:该算法能有效地降低平均期望误分类代价,减少样本集中样本需要标注次数.     

基于多重核学习支持向量机的歼击机故障诊断

为了提高歼击机故障诊断的准确性与实时性，提出一种基于决策树型组合策略的多重核学习支持向量机诊断方法，决策树型组合策略利用树结构解决多分类问题，而多重核学习支持向量机通过混合核空间，将线性约束下二次规划问题转化为二次约束下二次规划问题，实验结果表明：多重核学习支持向量机的诊断精度明显优于标准支持向量机，且支持向量的数目也较少，决策树型细合策略的引入可以提高歼击机故障诊断的诊断速度，基于决策树型组合策略的多重核学习支持向量机方法能够准确且快速地解决歼击机故障诊断问题。     

基于支持向量机的非线性系统辨识方法

支持向量机是一种基于结构风险最小化原理的新一代机器学习方法,在分类和回归估计方面已显示出了很好的应用前景.本文在简要介绍支持向量回归新方法的基础上,给出用于非线性系统进行辨识的支持向量机模型和多输入支持向量机的核函数构造方法,并将支持向量机与神经网络的非线性系统辨识效果进行了比较分析.实验结果表明,支持向量机具有比神经网络更强的非线性系统辨识能力和更好的泛化能力.     

基于核主成分分析和支持向量机的飞机舱音信号识别

为了提高飞机事故原因的调查准确性与实时性,提出了一种基于核主成分分析和支持向量机的舱音背景声识别方法.首先提取和分析了飞机驾驶舱话音记录器中所记录背景声信号的特征参数,然后分别以多项式核函数、sigmoid核函数和高斯核函数3种核函数作为内积,对3种核函数的降维特性进行了对比分析,最后将核方法与支持向量机结合,实现对舱音背景声的分类识别.实验结果表明:通过基于不同核函数的主成分分析方法与支持向量机的结合比较,确定以高斯核函数为内积的SVM分类方法具有较好的分类效果.     

分类大规模数据的核向量机方法研究

标准的支持向量机算法需要求解二次规划问题,因此,在处理大规模样本的时候,求解二次规划问题的时间复杂度和空间复杂度就成为支持向量机应用的一个瓶颈.核向量机将传统支持向量机中的二次规划问题转化为求解最小包围球问题,从而显著降低了二次规划的复杂程度.使用核向量机对大规模数据进行分类,所选用的数据样本数均超过2000,并与标准的支持向量机作了对比实验结果表明:核向量机在处理大规模数据分类时,比标准的支持向量机计算复杂度低,训练速度快,耗费空间少.     

基于傅立叶核与径向基核的支持向量机性能之比较

支持向量机（SVMs）是由Vapnik提出的一种建立在统计学习理论上的新方法：这种方法被深入地研究并广泛应用在诸如分类和回归问题上。由于其基于结构风险最小化的机理，因此相对于其他的经典方法有着更好的泛化特性，其中核函数的选择对支持向量机的性能有着很大的影响。深入地研究了基于傅立叶核函数的支持向量机的特性，得出在某些特殊的情况下，基于傅立叶核函数的支持向量机的性能要好于基于RBF核的支持向量机。最后的仿真对其进行了比较验证。     

小波支持向量机在滚动轴承故障诊断中的应用

为提高支持向量机故障分类器的性能,提出了一种小波核函数支持向量机故障分类器.基于平移不变核函数条件,推导证明了Mexican hat小波函数是一种容许核函数.利用正常、滚动体故障以及内、外圈故障4种状态的轴承试验数据,研究了小波支持向量机分类器的性能.与基于RBF核函数的支持向量机的分类结果进行对比表明,小波支持向量机具有更高的分类正确率.     

基于离散核支持向量机的文本自动分类

传统基于向量空间模型的文本分类方法需要对文档进行预处理,同时也会损失很多有用的信息.该文提出一种基于离散核支持向量机的文本分类方法,直接根据文档的字符序列构造离散核,用于支持向量机分类算法,比较文档之间的相似性,从而改善文本分类的效果.证明了离散核支持向量机方法的时间复杂度与文本的长度成O(n)关系.在Reuters-21578文档集上将离散核方法与多项式核、高斯核方法进行比较,实验结果表明该文所提方法在简化分类方法的同时也可以提高分类的精度.     

用粗糙集构造基于知识的模糊多层感知器

提出了用粗糙集理论构造模糊多层感知器的方法。使用粗糙集从样本信息表中抽出关于领域的规则以及规则的精确度和覆盖度。网络的结构由已经抽取的规则映射而成,初始连接权由规则的精确度和覆盖度确定。论文给出了基于信息熵的知识的简算法。运用于水稻虫害分类的试验结果表明：这种基于知识的模糊多层感知器与传统感知器相比,具有较少的隐层节点,并能做出正确的特征分类。     

视觉核感知器

将Mercer核思想和视觉理论相结合，提出了视觉核感知器算法(VKP)。相对于单纯的核感知器，视觉核感知器能更有效地解决了学习的收敛性问题。同时也有效地提高了核感知器学习的精度。大量的实验结果表明了本算法的有效性和某些情况下的优越性。     

模糊核超球感知器

提出了一种基于核化技术的模糊核超球感知器分类算法，该算法通过核化技术把样本数据映射到高雏特征空间，并利用超球感知器学习寻找高雏特征空间的决策超球，从而得到各类样本的决策函数．同时，样本测试中采用的模糊技术有效提高了算法的适应性．该算法学习规则简单，所得特征空间超球在样本空间的分布能很好地反映样本的数据结构，适用于不同类型数据结构样本的学习，并经大量试验显示了算法的有效性．     

关于支持向量机DirectSVM算法的探讨

DirectSVM算法是求解支持向量机的一种简单快速迭代算法,具有最好的几何直观性.算法将线性可分的两类样本中距离最近的两个异类样本点作为支持向量,以该两点连线的垂直平分面作为初始分类超平面,然后根据分类情况逐步确定新的支持向量,即逐步优化出最优分类超平面.对该算法进行了测试,发现该算法具有局限性,并对算法局限性产生的根源进行了分析,对如何合理使用DirectSVM算法进行了讨论.结论是:用DirectSVM算法直接求解最优分类面是不可靠的,但可以作为支持向量机的一种近似算法,也可以作为求解候选支持向量集的方法,再与其他经典算法结合使用.     

利用相似日小波变换和多层感知机的短期光伏功率预测

为了提高光伏功率预测的准确性和可靠性,基于相似日小波变换和多层感知机建立智能光伏功率预测模型;将小波变换的多分辨率特点和多层感知机的非线性拟合能力结合起来,以有效地提高预报的可靠性.首先,选取相似日数据并归一化,并用小波变换对数据进行预处理;其次,训练多层感知机模型学习气象因素与光伏功率之间的映射关系;最后,基于沙漠知...     

基于LWSFLA-SVM的人脸识别算法*

目的用线性调整惯性权重的蛙跳算法(linear decreasing inertia weight shuffled frog leaping algorithm,LWSFLA)训练支持向量机(support vectors machines,SVM),解决人脸识别中SVM在训练样本数较多且维数较高时,识别效果不理想的缺陷。方法该算法先用反向学习法产生初始群体提高初始解的质量,再修改最差青蛙的更新策略,并引入线性递减的惯性权重,最后应用于人脸识别中。结果与结论 ORL和CAS-PEAL-R1人脸库的仿真实验表明,LWSFLA-SVM方法的人脸识别时间短,识别率高,在训练样本不足时,识别效果良好。     

集群SVM大规模数据分类算法

为了提高SVM在大规模数据集上的训练效率和检测精度,对训练数据预处理后进行无监督聚类,通过一定规则选取对训练SVM有用的样本向量,并结合改进的AdaBoost算法来增强SVM在大规模数据的分类和泛化能力,最后通过Kdd Cup 99数据进行实验验证算法性能.     

A fast SVM training algorithm based on the set segmentation and k-means clustering

At present, studies on training algorithms for support vector machines (SVM) are important issues in the field of machine learning. It is a challenging task to improve the efficiency of the algorithm without reducing the generalization performance of SVM. To face this challenge, a new SVM training algorithm based on the set segmentation and k-means clustering is presented in this paper. The new idea is to divide all the original training data into many subsets, followed by clustering each subset using k-means clustering and finally train SVM using the new data set obtained from clustering centroids. Considering that the decomposition algorithm such as SVMlight is one of the major methods for solving support vector machines, the SVMlight is used in our experiments. Simulations on different types of problems show that the proposed method can solve efficiently not only large linear classification problems but also large nonlinear ones.     

一种新的样本选择算法及其在文本分类中的应用

在保证分类性能的前提下,如何从大量的训练样本集合中选择重要样本子集,是模式分类中的一个重要问题.基于该问题提出了一种新的样本选择算法,并将该算法应用于文本分类,在标准文档集Reuters-21578、复旦文档集和20newsGroup新闻组文档集上进行了实验.实验结果表明:该方法能有效地选取边界样本,且采用SVM和KNN分类能得到较好的分类结果,尤其是在不均衡文档集上效果更佳.     

基于K-CV 优化的PCA 和SVM 人脸识别算法

为解决常规的PCA( Principal Component Analysis) 和SVM( Support Vector Machines) 人脸识别算法准确率 不高的问题,提出了用改进的网格搜索和交叉验证( K-CV: K-fold Cross Validation) 算法对SVM 参数寻优的方 法,并联合了PCA 和SVM 的人脸识别算法。该算法利用K-CV 算法结合改进网格搜索方法寻找最佳参数, 尽可能消除由于个别样本误差对预测模型的影响,减少了搜索时间,提高了人脸识别的准确率。在Matlab 软 件上测试结果表明,该算法在YALE 人脸库的识别准确率比常规的PCA 和SVM 联合算法高9． 08%。