基于迹比优化的正交子空间支持向量机

针对多平面支持向量机机器学习算法的分类性能受特征数量限制的问题,提出一种正交子空间支持向量机(orthogonal subspace support vector machine,OSSVM).首先为每类数据寻找一个正交子空间,使得该类数据和其他类数据在子空间中的投影存在较大间隔;然后基于迹比优化提出求解OSSVM模型的迭代算法,再利用核方法将OSSVM扩展为非线性模型.实验结果验证了本文算法在数据分类中具有良好的泛化性能.     

基于机器学习的静息态人脑功能活动差异的分类研究

本研究在睁眼(eyes-open,EO)和闭眼(eyes-closed,EC)两种静息态下提取了45位健康被试的脑功能参数比率低频振幅(fractional amplitude of low frequency fluctuation,fALFF)和局部一致性(regional homogeneity,ReHo)数据,比较并分析了基于线性核的支持向量机(SVM)、基于RBF核的支持向量机、朴素贝叶斯、决策树、随机森林和自适应增强(Adaboost)6种机器学习方法在数据上的分类效果.实验表明,对单一特征数据分类时,朴素贝叶斯算法对fALFF数据的分类效果最好,线性核的SVM算法对ReHo数据的分类效果最好;对fALFF和ReHo数据相融合的多层次特征数据分类时,朴素贝叶斯算法的分类效果最好.此外,本研究对单一特征数据与多层次特征数据在6种机器学习方法上进行分类比较,结果表明利用多层次特征数据时,基于RBF核的SVM,朴素贝叶斯和随机森林算法的分类效果有所提升.本研究基于不同机器学习方法和不同层次特征数据的分类比较,为EO和EC静息态脑功能活动和其他脑病理的研究提供了相关的参考依据.     

图核函数研究现状与进展

核方法具有坚实的理论基础和广泛的应用,已引起了各领域的关注.基于核的机器学习方法不仅适用于以特征向量表示的模式,也适用于结构化数据的模式.前者对应的是向量核方法,后者对应的是图核方法.图核对结构化数据具有强大而灵活的表示形式,其不仅能描述研究对象或模式的特性,还能反映构成这个物体不同部分之间的结构信息.目前,基于图核的机器学习方法在模式识别、机器学习、机器视觉、数据挖掘等相关研究领域得到了极为广泛的关注与应用,已成为结构数据描述方法和应用领域的一个重要研究方向.论文从使用最为广泛的基于R-convolution的图核谈起,总结了图核研究的意义,着重回顾和讨论图核函数的基本理论、基本分类、国内外研究现状,并进一步指出图核研究的发展方向.     

基于改进信息增益特征选择法的SVM中文情感分类算法

为文本情感分类提出一种改进的机器学习算法。在分析当前主要文本特征选择方法后,把词频和词语情感表现程度融入到信息增益特征选择方法中,从全局和局部2个方面进行特征权重衡量,使用特征空间向量模型对文本进行统一表示,然后利用SVM算法进行训练学习。通过实验发现该算法的查准率和查全率比传统的机器学习算法有所提高,并且得到的分类器具有较好的泛化能力。     

低阶数据映射和特征加权的线性SVM

针对传统线性支持向量机在训练数据集时均等对待每一维输入特征,以及在原始空间直接分类造成预测准确率低的问题,提出低阶多项式数据映射和特征加权相结合的方法,来提高线性支持向量机的分类性能。该方法首先将每个样本映射到多项式核对应的2 阶显式特征空间,从而增加样本的隐性信息,然后使用模糊熵特征加权算法计算每一维特征的权重,通过权重衡量特征对分类结果的贡献大小。从不同数据库选取7个数据集进行测试,在训练时间和预测准确率2个方面将该方法与核支持向量机、线性支持向量机的其他改进算法进行比较。结果显示,随着数据集规模的扩大,训练时间降低一个数量级,预测准确率在一些数据集上取得与核支持向量机相接近的效果。结果表明：所提方法可以有效提高线性支持向量机的整体性能。     

一种基于关联规则的核粒度支持向量机

提出一种基于关联规则的核粒度支持向量机(association rules based kernel granular SVM,AR-KGSVM)学习算法.AR-KGSVM首先将输入空间中的样本用核函数映射到高维特征空间,然后在核特征空间挖掘基于距离度量的关联规则以划分粒.算法的粒划分和数据训练都是在高维核空间中进行,避免了一般的粒度支持向量(granular SVM,GSVM)在低维空间作粒划分而在高维空间中训练,使数据分布不一致而导致泛化能力不高的问题.在标准数据集上的实验结果表明AR-KGSVM的泛化能力优于传统的SVM和GSVM方法.     

基于支持向量机的遥感图像分类研究

支持向量机(Support Vector Machine,SVM)是一种基于统计学习理论的新型机器学习算法.通过解算最优化问题,在高维特征空间中寻找最优分类超平面,从而解决复杂数据的分类及回归问题.将支持向量机理论应用到遥感图像分类的研究还处在初级阶段,传统分类算法应用于遥感图像分类存在运算速度慢、精度比较低和难以收敛等问题.从支持向量机基本理论出发,建立了一个基于支持向量机的遥感图像分类器.用遥感图像数据进行实验,并将结果与其它方法的结果进行了比较分析.实验结果表明,利用SVM进行遥感图像分类的精度明显优于神经网络算法和最大似然算法分类精度.     

优化支持向量机核参数的核矩阵方法研究

参数选取问题一直是支持向量机研究的热点.虽然核校准(KTA)方法广泛应用于支持向量机参数优化问题中,但是它仍存在不足.以核矩阵为研究出发点,深入分析了采用核校准方法优化核参数对分类性能的影响,然后综合核校准方法和特征空间中样本集的分布提出了一种核校准改进方法.对比实验表明该算法是有效可行的.     

机器学习在车载激光点云分类中的应用研究

点云信息分类提取与利用是车载移动测量系统的关键技术,提高车载激光点云分类的智能化已成为当代信息科学技术发展所面临的重要问题.从分析点云的特征入手,采用机器学习方法对车载激光点云的行道树提取进行了大量实验研究.首先,在点云原始特征的基础上,根据其局部几何特征及空间分布,构造了由三维空间位置、回波强度、颜色值、法向量、单位投影密度、残差及回波强度维度内的残差等17个特征值组成的点云高维特征向量,然后采用支持向量机和人工神经网络两种机器学习方法分别对行道树点云进行提取实验.实验中采用了粒子群优化算法对支持向量机进行参数寻优,采用所构造的由17个特征值构成的特征向量对点云进行机器学习,两种学习方法的行道树点云分类精度分别可以达到99.75%和99.25%.实验结果表明,采用机器学习的方法对于提高车载激光点云分类自动化程度和智能化水平具有重要意义和作用.     

基于拉普拉斯图的谱特征的图像聚类研究

提出一种用拉普拉斯图的谱系数夹角谱特征来描述图像几何结构的方法,同时研究了基于图的谱聚类系统.首先将序列图像以角点的形式构成拉普拉斯矩阵;然后分解该矩阵,结合特征值和其特征向量计算图中各点的谱系数夹角谱特征;再以局部保持投影方法将这些向量内嵌到模式空间,并在其特征空间用模糊c-均值算法进行聚类分析.结果表明,以拉普拉斯图的谱系数夹角谱特征解决了图中各点在向量空间的分布及其对应关系,在模式空间进行的聚类分析是有效的.     

一种提高Kernel PCA特征提取性能的核优化算法

基于核的主分量分析(Kernel PCA)能够提取数据的非线性特征,但其性能受核参数的影响非常大.提出了一种新的基于特征空间中非高斯分布估计的核参数优化算法.该方法基于Kernel PCA中最优的参数应能导致特征空间中数据具有高斯分布的思想,通过对特征空间中数据的非高斯性结构进行分析,从反面估计其对高斯分布的逼近程度.采用该方法对各种数据进行实验都有很好的效果,表明了该方法的有效性.     

FLDA的核化过程

核方法是近年发展起来的一种新的机器学习方法,它可在高维(特征)空间中用线性的方法有效地解决低维(输入)空间中线性不可分问题.采用核方法,在Mika提出的核Fisher判别基础上,给出Fisher判别分析从输入空间变换到特征空间的数学过程(核化过程),并对特征空间中投影向量可由训练样本线性表示问题予以证明.     

网页分类技术

网页分类是使用机器学习的方法实现网页类别的自动标注.回顾了文本分类技术的研究状况,分析了网页的结构特征,难点在于结合网页的结构信息选择合理的表示方式和分类算法.使用纯文本分类技术处理网页是不合理的.基于概率模型的方法和关系学习方法计算量大,关系学习方法学习结果的可解释性好,支持向量机方法分类准确率高,但核函数的构造和大规模数据集的训练都是该算法的难题.应该采用多种指标对网页分类算法进行评价.     

基于加权特征子空间的支持向量机核函数研究

针对数据分类交叉空间易错分问题,提出一种基于加权特征子空间的支持向量机核函数方法。该方法利用加权特征子空间与稀疏表达等相关理论进行支持向量机核函数优化,首先利特征子空间重叠率与数据的信息熵对数据特征进行加权,再通过对L_1范数正则项的加权处理调节异类数据间的稀疏性和同类数据间的稠密性;最后对处理好的数据进行分类测试。仿真实验表明该算法能够在一定程度上提升分类效果,以达到优化核函数的目的。     

基于核主元分析与支持向量机的监控诊断方法及其应用

为了及时反映密闭鼓风炉冶炼过程状态,实现对密闭鼓风炉炉况的监控与诊断,提出核主元分析和多支持向量机分类的相结合的过程监控与故障诊断方法.其原理是:首先,用核主元分析方法提取过程数据特征,建立核主元分析的监控模型;然后,将代表过程特征的核主元送入多支持向量机分类器中,利用"一对其余"算法对故障进行诊断与分类.实验结果表明,所提出的方法与传统的主元分析方法相比,整个样本集的可分性变大,分类正确率提高,能更准确地诊断炉子的各种故障,可有效地用于密闭鼓风炉冶炼过程的故障诊断.     

基于网络日志的用户行为刻画与预测研究

采用基于相似度的特征聚类算法以及粗糙集模糊分析法,提出了基于网络日志的用户性格特征分析及行为预测方法.首先,构建标准性格特征向量库;然后,采用基于余弦相似度的特征聚类算法进行性格分析,该算法解决了适量样本情况下的机器学习中聚类的问题,使训练模板数据即使在数据不是足够大的情况下仍能提取特征;最后,采用基于粗糙集理论的模糊分析算法进行行为预测,该分析算法简化了分析过程,减少了建模中需考虑的因素,又能得出精确的结果.对比实验表明,该方法能较准确地分析不同用户性格特征和对其未来行为进行预判,并分析出可能对安全领域造成威胁的人群.     

基于层次支持向量机和KICA的人脸识别

针对人脸图像的非线性特点,将基于核方法的核独立分量分析算法用于提取人脸图像特征.为避免多类支持向量机出现不可识别域,提出基于二叉树思想的层次支持向量机算法,用于多类人脸识别.将层次支持向量机和核独立分量分析算法相结合进行人脸识别,首先对人脸图像进行预处理和主成分分析法降维;然后运用核独立分量分析算法估算出独立基影像,从而得到人脸特征;最后将人脸特征输入层次支持向量机进行分类识别.在ORL人脸库上的仿真结果表明该算法较好地兼顾了识别率和运行速率.     

基于核的多超球面一类支持向量机分类算法

为了降低单超球面一类支持向量机(One Class-SVMs,简称OC-SVMs)分类算法的错分率,提出了一种基于核的多超球面一类支持向量机分类算法.算法利用核空间中样本特征差异突出的特性,首先对样本在核空间进行K-均值聚类,然后使用OC-SVMs对各子类训练建立多超球面分类模型,实现分类判决.实验结果表明,算法有效地提高了分类精度.     

基于加权子图和支持向量机相融合的邮件分类算法

为了提高邮件分类的准确性和分类速度,提出一种基于加权子图和支持向量机相融合的邮件分类方法.首先通过收集邮件分类样本数据,利用加权子图提取邮件特征,并实现加权,然后采用核主成分分析选择邮件的最优特征子集,最后输入到支持向量机中进行学习,并采用布谷鸟算法搜索支持向量机参数,建立最优邮件分类器.仿真实验结果表明,该邮件分类方法不仅提高了邮件分类的正确率,而且分类速度明显加快,可以较好地满足网络邮件在线分类要求.     

基于K-L变换和支持向量机的三维肺结节识别

针对传统二维结节感兴趣区的特征提取忽略了肺结节在三维空间的细部特征问题,提出了一种基于K-L变换和支持向量机(SVM)的肺结节识别新方法.首先对三维肺结节的几何特征和密度特征进行分析,计算并提取三维特征形成原始特征空间,然后使用K-L变换方法进行原始空间变换,去除特征间相关性,最后采用支持向量机分类方法来进行肺结节识别,并引入ROC曲线对算法性能进行评价.实验针对36组具有临床标注"金标准"的肺部HRCT数据进行,结果表明该方法的识别准确率可以达到94.33%,ROC曲线的Az值为0.94.