低阶数据映射和特征加权的线性SVM

针对传统线性支持向量机在训练数据集时均等对待每一维输入特征,以及在原始空间直接分类造成预测准确率低的问题,提出低阶多项式数据映射和特征加权相结合的方法,来提高线性支持向量机的分类性能。该方法首先将每个样本映射到多项式核对应的2 阶显式特征空间,从而增加样本的隐性信息,然后使用模糊熵特征加权算法计算每一维特征的权重,通过权重衡量特征对分类结果的贡献大小。从不同数据库选取7个数据集进行测试,在训练时间和预测准确率2个方面将该方法与核支持向量机、线性支持向量机的其他改进算法进行比较。结果显示,随着数据集规模的扩大,训练时间降低一个数量级,预测准确率在一些数据集上取得与核支持向量机相接近的效果。结果表明：所提方法可以有效提高线性支持向量机的整体性能。     

基于改进典型相关分析的混沌时间序列预测

典型相关分析是目前常用的研究两个变量集间相关性的统计方法.针对线性典型相关分析法不能揭示变量间非线性关系,因而不适用于混沌系统等问题,将核典型相关分析与径向基函数神经网络相结合,提出了一种改进的核典型相关分析方法以解决映射空间样本未知及逆矩阵求解困难等问题.首先利用两个径向基函数神经网络,通过训练使两个网络输出之间的相关系数达到最大,可同时得到两组典型相关变量.然后建立预测模型,对Lorenz混沌方程及大连月气温与降雨二变量混沌时间序列进行仿真,并与传统的线性回归预测方法进行比较,多组仿真结果证明了所述方法的有效性.     

一种提高Kernel PCA特征提取性能的核优化算法

基于核的主分量分析(Kernel PCA)能够提取数据的非线性特征,但其性能受核参数的影响非常大.提出了一种新的基于特征空间中非高斯分布估计的核参数优化算法.该方法基于Kernel PCA中最优的参数应能导致特征空间中数据具有高斯分布的思想,通过对特征空间中数据的非高斯性结构进行分析,从反面估计其对高斯分布的逼近程度.采用该方法对各种数据进行实验都有很好的效果,表明了该方法的有效性.     

基于KPCA和模糊核Fisher判别的语音情感识别

针对语音情感识别率不高和实时性差的问题,提出一种基于KPCA核主成分空间的模糊KFD算法,应用于语音情感识别。首先采用KPCA对语音情感特征向量降维去噪,根据转换矩阵得到核主成分空间,然后在该特征空间利用模糊C均值聚类计算语音特征向量的隶属度,进而对LDA算法中的类间离散度和类内离散度重新定义,生成模糊KFD分类器进行语音情感识别。仿真实验结果表明,提出的方法相比于传统SVM和核Fisher判别算法具有较高的识别率和良好的抗噪性能,是一种行之有效的语音情感识别新方法。     

Nonlinear Spline Kernel-based Partial Least Squares Regression Method and Its Application

Inspired by the traditional Wold＇s nonlinear PLS algorithm comprises of NIPALS approach and a spline inner function model, a novel nonlinear partial least squares algorithm based on spline kernel （named SK-PLS ） is proposed for nonlinear modeling in the presence of multicollinearity. Based on the inner-product kernel spanned by the spline basis functions with infinite number of nodes, this method firstly maps the input data into a highdimensional feature space, and then calculates a linear PLS model with reformed NIPALS procedure in the feature space and gives a unified framework of traditional PLS ＂kernel＂ algorithms in consequence. The linear PLS in the feature Space corresponds to a nonlinear PLS in the original input （primal） space. The good approximating property of spline kernel function enhances the generalization ability of the novel model, and two numerical experiments are given to illustrate the feasibility of the proposed method.     

FLDA的核化过程

核方法是近年发展起来的一种新的机器学习方法,它可在高维(特征)空间中用线性的方法有效地解决低维(输入)空间中线性不可分问题.采用核方法,在Mika提出的核Fisher判别基础上,给出Fisher判别分析从输入空间变换到特征空间的数学过程(核化过程),并对特征空间中投影向量可由训练样本线性表示问题予以证明.     

基于非线性空间的小样本回归方法

为解决小样本回归时引起的过学习问题并提高回归精度,提出一种基于非线性空间特征选择的支持向量机.该方法依据矩阵相似度量或从研究的实际问题出发,绕过核技巧,直接将原始输入空间映射为适宜的非线性空间.该方法运用遗传算法在维数较多的非线性空间中搜索对输出影响最大的一些特征,达到降低输入空间维数的目的,从而避免过学习问题,并可获得简明的非线性回归函数.     

特征峰值投影技术应用于鱼粉蛋白近红外波长优选

采用近红外光谱线性分析技术实现对鱼粉蛋白的快速检测,选择合适的波长变量是提高模型预测精度的关键。主要目的是建立一种稳健、简单的多元线性回归(MLR)模型,通过研究基于特征峰值的投影技术实现参与建模的波长优选。特征物质在近红外光谱区域的吸收特征,以鱼粉一阶导数光谱的峰谷波长点作为出发点,依次采用逐步多元线性回归(SMLR)和连续投影线性回归(SPA-MLR)方法完成两度特征信息波长筛选,进一步对备选的波长变量执行显著性检验,最终确定近红外线性分析的特征信息波长组合。结果表明,近红外长波区域中优选出53个特征信息波长变量,能够提高鱼粉蛋白近红外定量模型的预测精度,简化了模型,从而提高了模型的适用性和稳健性。     

基于核主成分KPCA的LS-SVM的算法分析

主成分分析（PCA）是一种重要的特征抽取方法,而核主成分分析（KPCA）是在此基础上结合核函数提出来的主成分分析法,在多维回归分析中具有重要的作用。最小二乘支持向量机（LS-SVM）是SVM的一种改进算法,将KPCA与LS-SVM结合起来建模,并试验说明较之单独用最小二乘支持向量机（LS-SVM）建模方法具有更良好的推广性。     

基于 LR 模糊数据的线性回归模型

LR模糊数据是实践中经常使用的由形状函数L及R、左右扩展及中心构成的模糊数．取值LR模糊数的随机变量称为模糊随机变量,其缺乏适宜的概率分布模型,导致模糊数据的线性回归模型缺乏显著性检验．文章基于Nather模糊随机变量线性回归分析工作,进一步给出LR模糊数据多元线性回归在δ2距离下的系数估计,并通过统计软件给出模型中非确定干扰变量的Bootstrap模拟分布．     

基于模态分析的输电塔结构优化模型

选取常见的干字型角钢塔,提出一种新型的基于模态分析输电塔结构优化模型。构建参数化输电塔结构有限元模型,采用拉丁超立方抽样方法进行高效抽样,将样本空间进行均匀划分,再对样本空间抽样,规避了Monte Carlo法样本空间低效重复抽样的缺点,有效提高Monte Carlo随机有限元法的运算效率;分别采用线性回归,纯二次回归,交叉回归及完全二次回归公式优化输电塔结构,通过线性回归残差分析,并综合考虑相关系数R2、F值、P值及评估误差E,选用完全二次回归模型构造输电塔随机输入变量与各随机输出变量之间的数学关系;分别采用模拟退火算法与遗传算法对模型进行优化,优化结果表明：两种算法均能实现全局搜索,规避优化过程中局部最小点;遗传算法的优势更为明显,收敛速度快,计算耗时短,并且目标函数的优化结果较模拟退火算法更优;与输电塔原始结构相比,遗传算法和模拟退火算法优化后的输电塔耗材总体积分别降低19.97%和19.96%,较为接近;经遗传算法优化后的输电塔优化结构五阶固有频率与一阶固有频率的差值是原设计的138.1%,模拟退火算法优化后的结果为113.7%,经遗传算法优化后的输电塔优化结构更好。     

扩展的输入变量对失效概率重要性测度及其积分算法

为了全面地分析输入变量对可靠性工程中所关心的结构或系统失效的影响,在继承了传统矩独立重要性测度的基础上提出了扩展的失效概率重要性测度指标.针对失效概率重要性测度计算量大的问题,本文结合能高效、准确求解概率密度函数的核密度估计法,建立了一种求解所提测度的积分法.文中算例表明,所提重要性测度包含了更加全面的输入变量对结构失效影响的信息,所建积分法破除了重要性测度计算的"维数诅咒",大大地减少了重要性测度指标的计算量.     

基于核拉普拉斯稀疏编码的图像分类

使用稀疏编码解决计算机视觉问题可以取得良好的效果.然而,以往的稀疏编码都是在原始特征空间进行.受核方法可以获得特征的高维非线性映射的启发,扩展了拉普拉斯稀疏编码(LSc),提出了核拉普拉斯稀疏编码(KLSc),它可以降低特征量化误差,增强稀疏编码的性能.在3个标准数据集上的实验结果表明,所提出的基于KLSc的图像分类算法具有良好的分类效果,分类正确率优于LSc.     

基于分形和支持向量机的装备技术状态预测模型

基于分形和支持向量机回归理论,建立了装备技术状态预测模型.将反映装备运行状态的特征数据作为时间序列,首先进行相空间重构,得到时间序列的最小嵌入维数,以此作为支持向量机输入节点数.利用支持向量机对样本训练,建立预测模型.以装备振动信号预测为实例,表明将时间序列最小嵌入维数作为支持向量机输入节点数目,所建立的模型是最优的.支持向量机预测结果和真实值相比误差较小,可以满足装备技术状态分析和预测的要求.     

有限样本条件下多元线性回归模型的最优解

将分析多元线性回归模型和求线性方程组的最优解统一起来．线性方程组的最优解基于欧式赋范空间最短距离．研究结果表明：在多元线性回归模型不存在多重共线性的情况下,得到的回归结果解和线性方程组的最优解相同．在多元线性回归模型存在多重共线性时,通过求线性方程组的最优解,可以得到统计意义上的线性无偏有效解,此时的最优解不满足渐近性和一致性条件．因此,利用线性方程组求最优解适用于多元线性回归模型在有限样本条件下的情况,多于大样本的情况不适用．     

支持向量机Mercer核的若干性质

目前支持向量机在模式分类中得到了很好的应用.对于线性不可分的样本空间,需要寻找核函数,将线性不可分的样本集映射到另一个高维线性空间.在理论上,怎样选择核函数,还是一个未解决的问题.因此研究支持向量机的核函数性质,对于寻找核函数有重要意义.为此,在研究支持向量机的基础上,给出了核函数的若干重要性质.     

基于核因子分析的捷联惯组稳定性评估技术

当前捷联惯组的稳定性评价方法单一,严重影响了使用单位对捷联惯组的使用效率。针对捷联惯组各个误差系数两次测试之差线性相关性较弱的特点,本文应用统计学习理论中的核化原理将因子分析这一线性特征提取算法推广至非线性特征提取算法,并改进了传统的因子综合评价方法,将其用于捷联惯组的稳定性评估。数值实验结果证明了本文提出的核因子分析方法的有效性。     

基于非线性映射的特征提取技术研究

从特征提取角度出发,分析了曲元分析法(CCA方法)的非线性映射算法原理,研究了曲元分析在高维数据本征维数提取中的应用,在此基础上提出了基于非线性映射曲元分析法的设备状态特征提取技术,对仿真和齿轮故障数据的研究表明,该方法能提取出对模式识别敏感的特征集,可有效用于机械设备的故障模式分类识别。     

基于PCA和KPCA特征抽取的SVM网络入侵检测方法

提出一种新颖的基于特征抽取的异常检测方法,应用主分量分析(PCA)和核主分量分析(KPCA)抽取入侵特征,再应用支持向量机(SVM)检测入侵。其中PCA对输入特征做线性变换,而KPCA通过核函数进行非线性变换。利用KDD 99数据集,将PCA-SVM、KPCA-SVM与SVM、PCR、KPCR进行比较,结果显示:在不降低分类器性能的情况下,特征抽取方法能对输入数据有效降维。在各种方法中,KPCA与SVM的结合能得到最优入侵检测性能。     

互信息和核熵成分分析的油中溶解气体浓度建模

针对变压器油中溶解气体浓度的预测问题,提出了一种基于互信息和核熵成分分析(KECA)的油中溶解气体浓度预测建模方法。首先,用标准互信息变量选择方法确定模型的输入变量并对选取的输入变量进行相重构;然后,利用Renyi熵信息测度确定KECA核参数并采用KECA对相空间进行特征提取;最后,以核熵成分作为机器学习极限学习机(ELM)的输入,建立变压器油中溶解气体浓度的预测模型。实验结果表明,与灰色模型、支持向量机、BP神经网络建模方法相比,本文提出的方法能够充分利用油中溶解气体浓度信息,因而具有较优的预测精度和泛化能力。