核选择研究进展

核方法在机器学习、数据挖掘等领域取得了重要的应用,而核函数及其参数的选择直接决定着核方法的预期效果,是核方法研究及应用中不可回避的困难问题。分析评述已有核选择研究成果是兼具理论价值和实践意义的重要研究内容。文章从新的核函数构造、单个核函数的参数优化以及多核学习算法三个方面分析了核选择研究的成果,以期为核参数选择提供技术指导。此外,还指出了核选择研究的几个有价值的深入方向。     

基于核的自组织映射聚类

将核学习的方法应用于自组织映射聚类中,提出了一种核自组织映射聚类算法.该算法以核函数代替原始数据在特征空间中映射值的内积,并且神经元权值向量的初始化和更新都可由其组合系数向量表示,从而获得了直观而简单的迭代公式.分析了算法中学习速率过高会降低学习稳定性、学习速率过低又会降低收敛速度等参数选择问题,给出了一组折中考虑学习稳定性和收敛速度要求的参数初始值.实验结果表明,核自组织映射聚类对于非椭圆型的类分布数据,如环形数据,聚类正确率也能够达到99.886 4%.对IRIS数据集和入侵检测报警数据的聚类也证明了核自组织映射聚类方法的良好性能.     

有限秩多任务核的若干性质

多任务核的性质研究较少。应用多任务核的刻画定理,给出多任务核的若干性质,主要包括多任务核空间结构、沿对角线平移性质、多任务核的Kronecker乘积相关的几个性质,为多任务核学习实验中选择多任务核提供必要的方法和依据。     

基于AK-SDMCS的含缺陷核管道可靠性分析

为克服含缺陷核管道可靠性分析面临的计算效率低、精度差等问题，本文基于参数空间球分解思想提出了一种改进的主动学习Kriging代理模型方法。首先，给出含环向内表面缺陷核管道的主要失效模式和随机参数，并建立极限状态方程；其次，基于球空间分解思想改进主动学习Kriging模型方法，克服现有方法在求解小失效概率时主动学习本身计算量过大的缺点；最后，将所提方法应用于含缺陷核管道可靠性分析，并通过3个算例进行验证。结果表明，所提方法具有较高的计算精度和效率，可为含缺陷核管道可靠性分析提供有效手段。     

一种改进的最大方差展开投影在非线性过程监测中的应用

针对复杂流程工业中固有的非线性将导致传统线性降维方法性能降低的问题,以及传统核方法的性能严重依赖于所选取的核函数形式的问题,提出了一种改进的最大方差展开投影非线性过程建模法。该方法利用流形学习中最大方差展开对核函数进行学习,同时保留了输入数据空间中的边界特性。利用最大角回归学习出一种映射,避免了传统最大方差展开法只能提供训练样本的低维嵌入,使得输入空间能够最大程度地接近于这种低维空间。数值仿真和化工流程仿真模型上的实验表明了该算法的有效性。     

有监督的核局部线性嵌入算法

核局部线性嵌入法是一个优异的流形学习方法,对于非线性高维数据的降维问题,具有较好的效果。但是算法本身是一个无监督学习方法,对于模式分类等有监督学习问题效果不是很好。通过分析监督学习问题的机理,提出了一种有监督的核函数局部线性嵌入算法,数值实验证明算法对于有监督学习问题,具有较好的效果。     

基于核函数的学习算法

论述基于核函数的方法,包括支持向量机的分类、聚类与回归算法,基于核的Fisher判别分析、感知机和主成分分析,介绍学习算法、简化算法和多类分类等研究课题,及基于核函数方法的应用.     

基于多核支持向量机的句子分类算法

主流句子分类算法采用单一词向量表示模型获得文本表示,导致了对文本的映射能力不足.对此,通过融合多种词向量的文本表示以提高分类的准确率.针对多核学习在融合不同核函数时,常规的核函数系数寻优方法存在的训练时间长、难以求得局部最优解等问题,提出了一种新的核函数系数寻优方法,该方法基于参数空间分割与广度优先搜索不断逼近核系数的最优值.以支持向量机(support vector machine,SVM)为分类器,在7个文本数据集上进行了分类实验.实验结果表明,多核学习分类效果明显优于单核学习,并且所提出的寻优方法在训练次数少于常规方法时也能获得了好的分类效果.     

视觉核感知器

将Mercer核思想和视觉理论相结合，提出了视觉核感知器算法(VKP)。相对于单纯的核感知器，视觉核感知器能更有效地解决了学习的收敛性问题。同时也有效地提高了核感知器学习的精度。大量的实验结果表明了本算法的有效性和某些情况下的优越性。     

一种基于粒子群优化和核极限学习机的入侵检测算法

针对网络入侵检测准确率低、误报率高的问题,本文提出了一种基于粒子群优化和极限学习机的入侵检测算法。粒子群优化算法(PSO)是一种群智能算法,核极限学习机(KELM)是一种学习速度快、泛化能力强的经典核机器学习的方法,但是极限学习机对核函数及参数的选择直接影响它的分类性能。本文算法中利用粒子群算法优化核极限学习机的核参数,采用学习能力强且线性组合泛化能力强的全局性核函数,形成了多核极限学习机,可以有效提高单核极限学习机（ELM）分类器的性能。最后通过实验对算法性能做了对比分析,实验结果验证了本文算法的有效性。     

一种改进的局部多核学习算法

局部多核学习算法（LMKL）是一种变系数的多核支持向量机算法,其利用选通函数局部的选取合适的合成核函数;但是其选通函数有严重的参数沉余的问题,为此提出了改进的局部多核学习算法（ILMKL）,在其目标函数中加入正则项,区别于LMKL中选通函数的l1范数形式,使用选通函数的lp范数形式,增强核函数间的“互补”作用;采用该算法在模拟数据集和UCI数据集上实验,结果表明该算法取得较高的分类能力.     

基于一种自适应核学习的KECA子空间故障特征提取

核属性约简方法对于去除冗余信息,调整数据非线性结构具有独特的优势.针对航空电子设备故障诊断中有效特征提取困难,核属性约简方法中核函数与核参数选择繁琐等问题,提出了一种基于自适应核函数优化学习的核熵元分析（kernel entropy component analysis,KECA）特征提取方法.首先针对一种自适应核函数基于改进的Fisher核矩阵测量准则建立了一种面向多分类任务的核函数优化框架,然后将优化结果与KECA相结合,通过在KECA特征子空间中选择对输入数据Renyi熵估计有较大贡献的核矩阵特征向量来实现故障特征提取.实验结果表明,本文方法不仅提升了分类精度,而且对噪声具有一定的抑制作用,具有良好的泛化性能.      

一种基于环形分布的SVM核选择方法

核选择是支撑向量机(Support Vector Machine,SVM)研究中的核心问题之一.文章提出了一种基于数据分布特征的SVM核函数选择方法.分析了几种常用核函数的性能,提出了判断数据呈环形分布的方法,探讨了SVM核函数及其参数选择与数据分布的相关性.数值实验说明了该方法的可行性与有效性.     

一种新型的自适应多核学习算法

针对样本基数较大、 维数较高、 特征较复杂的数据集训练问题, 将支持向量机与蚁群优化算法相融合, 提出一种自适应多核学习算法. 利用吸引子传播聚类算法自适应地发现相似特征, 并据此利用蚁群算法自适应地选择核函数参数, 从而快速选择最优核函数. 通过UCI数据集的5组数据实验表明, 该算法相比于传统的支持向量机分类准确率和F₁值更高, 验证了该算法的有效性和可行性.     

互信息和核熵成分分析的油中溶解气体浓度建模

针对变压器油中溶解气体浓度的预测问题,提出了一种基于互信息和核熵成分分析(KECA)的油中溶解气体浓度预测建模方法。首先,用标准互信息变量选择方法确定模型的输入变量并对选取的输入变量进行相重构;然后,利用Renyi熵信息测度确定KECA核参数并采用KECA对相空间进行特征提取;最后,以核熵成分作为机器学习极限学习机(ELM)的输入,建立变压器油中溶解气体浓度的预测模型。实验结果表明,与灰色模型、支持向量机、BP神经网络建模方法相比,本文提出的方法能够充分利用油中溶解气体浓度信息,因而具有较优的预测精度和泛化能力。     

基于布谷鸟搜索算法参数优化的组合核极限学习机

针对单核极限学习机在泛化性能上存在一定局限性的问题, 提出将再生核函数与多项式核函数相结合, 建立一种新的组合核极限学习机模型, 使其具有全局核与局部核的优点, 并选择布谷鸟搜索算法对其参数进行优化选择. 仿真实验结果表明, 采用基于再生核的组合核函数作为极限学习机的核函数可行, 在实验数据集的多值分类和回归问题上, 与传统支持向量机及单核极限学习机相比, 该模型具有更好的泛化性能.     

基于布谷鸟搜索算法参数优化的组合核极限学习机

针对单核极限学习机在泛化性能上存在一定局限性的问题, 提出将再生核函数与多项式核函数相结合, 建立一种新的组合核极限学习机模型, 使其具有全局核与局部核的优点, 并选择布谷鸟搜索算法对其参数进行优化选择. 仿真实验结果表明, 采用基于再生核的组合核函数作为极限学习机的核函数可行, 在实验数据集的多值分类和回归问题上, 与传统支持向量机及单核极限学习机相比, 该模型具有更好的泛化性能.     

固定设计点情形下回归函数值的区间估计

对于固定设计点情形下的非参数回归模型,基于核估计的方法给出了回归函数的逐点置信区间和修正偏差置信区间.所给置信区间在相对较弱的条件下是渐近精确的.考虑到窗宽的选取对核估计和区间估计的重要影响,给出了适合所给置信区间的核估计窗宽的迭代选取方法.模拟结果显示迭代法收敛,且选取的窗宽表现良好,置信区间有令人满意的覆盖率.     

模式分析的核函数设计方法及应用

利用卷积算子和H1(R)核函数给出了一种设计Hn(R)核函数的新方法,该方法简便易行。运用该方法设计的核函数,应用在轴承正常振动信号数据、轴承内圈、外圈以及滚动体故障振动信号数据进行核主成分分析(KPCA)中,仿真结果表明:该方法可以有效地识别轴承正常和内圈、外圈以及滚动体故障。