基于高维映射感知器网络的机器学习分类方法

利用Rosenblatt感知器网络的权值学习方法,提出一种解决线性不可分样本的多类分类方法.该方法不需要考虑使用何种核函数,将高维坐标值作为分类信息的函数,直接解决非线性多类分类问题.对双螺旋线数据分类应用的结果表明:基于高维映射感知器网络的多类分类机器学习方法可以有效解决非线性数据的分类问题,并能够提高分类效率和准确度.     

基于核向量空间模型的专利分类

提出了一种利用核函数改进向量空间的新模型：核向量空间模型,该模型利用Mercer核,把输入空间的样本映射到高维特征空间,在高维特征空间中按向量空间模型操作。然后用核向量空间模型实现专利分类．理论分析及在专利分类中的实验表明,所提出的模型比经典向量空间模型有更高的正确分类率。     

基于LLE和模糊核聚类的语音可视化仿真

根据语音信号的时变特性,提出了一种具有很好分类定位能力的语音可视化方法——局部线性嵌入(LLE)和模糊核聚类相结合的算法.通过利用LLE对提取的语音特征进行非线性降维,然后再利用模糊核聚类算法对其进行聚类分析,即利用Mercer核,将原始空间通过非线性映射到高维特征空间,在高维特征空间中对语音信号特征进行模糊核聚类分析.由于经过了核函数的映射,使原来没有显现的特征突现出来,从而能够更好地支持基于位置的语音可视化.以10名男生和10名女生在实验室环境下的720个语音资料(汉语元音)作为样本进行了试验,试验结果验证了该方法的可行性和有效性.     

子模式判别型半监督非线性维数减少算法

维数减少是在损失较少特征信息的条件下处理高维图像数据的关键技术,已成为高维数据处理中的热点问题.样本的类内和类间散度判别信息被用于判断当前样本对属于相同类还是不同类,同时考虑未标签样本对算法性能的影响,提出了一种判别型半监督非线性维数减少算法(discriminativesemi-supervised nonlinear dimensionality reduction,DSSNDR),可有效避免奇异性.DSSNDR采用高斯核和多项式核组合得到的混合核,将原始数据以一系列"有用的"特征形式投影到一个较低维的嵌入空间,便于分类,同时能够保持已标签和未标签样本的内部特征,可有效执行半监督学习.引入样本数据的子模式,将DSSNDR推广到子模式特征空间下的非线性方法,简称Sp-DSSNDR,进一步增强了DSSNDR的学习能力,提高分类精度.多个典型数据集上的分类和可视化实验表明,不同类的样本数据的投影在DSSNDR和Sp-DSSNDR构造的特征空间中存在较少的混叠现象,具有更好的可分离性.当维数被减少到较低水平时,本文算法几乎总是取得最好的结果,甚至超过了经典的主成分分析(PCA),核主成分分析(KPCA)和核Fis...     

一种基于模糊核聚类算法的图像分类方法

聚类分析是数据分析的一个重要方法.通过引用核函数,将核方法应用到模糊C均值(Fuzzy c-Means,FCM)算法中,优化FCM算法的目标函数,使样本点被非线性变换映射到高维特征空间进行聚类,不仅改善了聚类效果,而且增强了算法对噪声的鲁棒性.在真实样本集上进行了仿真实验,分类结果证实了该算法的有效性和普适性,因而是一种较为简单和实用的图像分类方法.     

极坐标核在样本分类问题中的应用研究

核函数选择是支撑向量机(Support Vector Machine,SVM)研究的热点和难点.针对目前SVM核函数的选择没有统一规则的现状,探讨极坐标核在样本分类问题中的应用,提出一种结合样本分布特征进行SVM核选择的方法.首先分析极坐标核的映射原理,采用主成分分析方法(Principle Component Analysis,PCA)对高维数据集合理降维,在得到样本集分布特征的基础上进行SVM核选择,在Matlab环境中,采用四组数据集进行分类实验,验证结合样本分布特征选择SVM核函数的分类效果.实验结果表明,呈类圆形分布的样本集采用极坐标核进行分类,识别率达到100%,训练时间最短,优于采用高斯核SVM的分类效果.该方法提高了SVM的泛化能力,方案具有可行性和有效性.     

基于核Fisher判别分析的粮虫特征压缩方法

针对粮仓害虫种类多、类别之间相似度比较高的特点,提出基于核Fisher判别分析的粮虫特征压缩方法.利用高斯径向基核函数,对特征选择后的10维原始数字特征进行核Fisher判别分析,即通过非线性变换将样本数据从输入空间映射到高维特征空间,然后在高维特征空间进行特征提取.从粮虫分类效果方面,将KFDA法与FDA法、PCA法和KPCA法3种方法进行了比较分析.应用KFDA法提取的前4个特征,由最近邻分类器对粮仓中常见的9类粮虫进行分类,验证集的识别率为93.33%.结果表明:KFDA法对粮虫特征的非线性比较敏感,在有效降低特征维数的同时,还提高了类别之间的可分性.     

卷烟焦油预测研究

为了解决传统预测方法不能准确预测焦油量的一小样本非线性预测问题,提出从支持向量机的角度进行预测,并在其中关键问题核函数的选择上,应用保角映射进行核函数构造.该算法将焦油预测问题通过非线性变换映射到一个高维的特征空间,在高维的特征空间构造线性判别函数以替换原空间的非线性判别函数.选择22种不同地区和等级的烟叶,利用相同卷烟纸和滤嘴将各种烟叶卷制成单料卷烟,检测得各种烟叶单克烟丝烟雾中焦油量,以此为样本,进行函数训练并进行预测.实验证明该算法能提高焦油量预测精度和效率.     

基于PCA-KLFDA的小样本故障数据集降维方法

针对小样本故障数据集降维问题,提出一种基于主元分析(PCA)和核局部费歇尔判别分析相结合的子空间降维方法.该方法首先应用PCA提取数据集中的关键信息并实施降维,然后将该子空间通过高斯核方法映射至高维线性空间,并在高维空间基于局部费歇尔判别分析训练出一个最有辨别力的低维分类特征集.用双跨转子实验台的一组故障特征数据集进行验证,结果表明:该方法能有效应对小样本的降维问题,达到增大不同故障样本集合间距离、使同类故障样本间的类内距离减小的效果,为基于数据驱动途径实现智能故障辨识技术中涉及的小样本故障数据集类别划分问题提供了一种新方法.     

一种适用于高维非线性特征数据的聚类算法及应用

针对高维数据聚类分析中数据之间具有多种非线性特征关系,导致数据分布不均、传统相似性度量失效及结果类中心难以精准表征等问题,提出了一种基于核主元分析(KPCA)与密度聚类(DBSCAN)的高维非线性特征数据聚类分析技术。首先,为有效提取高维数据的非线性特征,利用KPCA理论将原始数据映射到更高维数据空间,利用主元分析获得数据变化的方向集合,并进行降维分析;然后,通过重新定义数据样本在主元空间的相似性距离对传统DBSCAN聚类方法进行改进,并利用3δ统计理论对各簇中心的进行表征,从而实现高维数据的精确分类与类中心知识表达。以实际高血压患者群体聚类问题为例对方法进行了有效性验证,实验表明,所提方法可以有效获取原始数据的非线性特征,实现患者个体特征群体的有效划分及簇类中心知识的表达,解决传统DBSCAN聚类方法对高维数据不适用的问题。     

视觉核感知器

将Mercer核思想和视觉理论相结合，提出了视觉核感知器算法(VKP)。相对于单纯的核感知器，视觉核感知器能更有效地解决了学习的收敛性问题。同时也有效地提高了核感知器学习的精度。大量的实验结果表明了本算法的有效性和某些情况下的优越性。     

KPCA-KPLS方法在pH中和过程建模中的应用

针对化工过程中的具有严重非线性、不确定性、时变性的复杂pH中和过程系统建模问题,提出一种基于核主元分析(KPCA)与核偏最小二乘(KPLS)相结合的建模方法.在高维特征空间内,该方法通过KPCA有效地提取输入数据的非线性主元,利用KPLS方法将输入变量投影在潜在变量上,再用输入与输出变量之间的协方差信息提取潜在特征建立pH中和过程模型.为验证其有效性,将KPCA-KPLS方法应用到弱酸强碱中和过程、强酸强碱中和过程实例中,并与核偏最小二乘、核主元分析_支持向量机(KPCA-SVM)、核极限学习机(KELM)、极限学习机(ELM)、最小二乘支持向量机(LSSVM)、SVM等方法进行比较.实验结果表明:KPCA-KPLS方法具有很高的动态建模精度.     

基于软超球体的高维非线性数据异常点识别算法

在冶金、化工等流程型工业领域,生产中的过程控制参数往往具有高维非线性结构特征.为了解决这类高维复杂数据的异常点检测问题,本文引入了软超球体的概念,采用非线性核函数将原始数据映射到高维的特征空间,并在特征空间中确定软超球体的边界.通过检测待识别样本映射到特征空间的位置信息来判定过程参数的设定值是否为异常点,从而避免出现批量的产品质量问题.以某类汽车用钢为应用实例,对实际生产数据进行检测,证明了所提出的基于软超球体的异常点识别算法对于高维的非线性数据具有良好的检测能力.     

模糊核超球感知器

提出了一种基于核化技术的模糊核超球感知器分类算法，该算法通过核化技术把样本数据映射到高雏特征空间，并利用超球感知器学习寻找高雏特征空间的决策超球，从而得到各类样本的决策函数．同时，样本测试中采用的模糊技术有效提高了算法的适应性．该算法学习规则简单，所得特征空间超球在样本空间的分布能很好地反映样本的数据结构，适用于不同类型数据结构样本的学习，并经大量试验显示了算法的有效性．     

基于预测变量图结构的高维逻辑回归模型

针对高维数据集,提出一种利用预测变量之间的图结构信息来改进稀疏逻辑回归模型的方法。该方法通过利用高维图结构数据或者重叠组结构来进行逻辑回归建模,即使预测变量的图结构未知,该方法仍适用,当图结构为某些特殊形式时,目前流行的方法,如Adaptive Lasso,(Overlapping) Group Lasso和岭回归都可以看作是该模型方法的特例。数值模拟和实例分析应用表明:该方法能有效地利用预测变量图结构信息,提高模型在估计、预测以及变量选择等方面的表现,并且该模型在有限样本情形下是有效的;该模型方法克服了数据集的维数问题,利用高维数据的图结构提高了稀疏逻辑回归模型的性能,可广泛应用于高通量基因数据集的疾病分类研究中。     

FLDA的核化过程

核方法是近年发展起来的一种新的机器学习方法,它可在高维(特征)空间中用线性的方法有效地解决低维(输入)空间中线性不可分问题.采用核方法,在Mika提出的核Fisher判别基础上,给出Fisher判别分析从输入空间变换到特征空间的数学过程(核化过程),并对特征空间中投影向量可由训练样本线性表示问题予以证明.     

Application of Kernel GDA to Performance Monitoring and Fault Diagnosis for Rotating Machinery

Faults in rotating machine are difficult to detect and identify,especially when the system is complex and nonlinear.In order to solve this problem,a novel performance monitoring and fault diagnosis method based on kernel generalized discriminant analysis(kernel GDA,KGDA) was proposed.Through KGDA,the data were mapped from the original space to the high-dimensional feature space.Then the statistic distance between normal data and test data was constructed to detect whether a fault was occurring.If a fault had occurred,similar analysis was used to identify the type of faults.The effectiveness of the proposed method was evaluated by simulation results of vibration signal fault dataset in the rotating machinery,which was scalable to different rotating machinery.     

Nonlinear Spline Kernel-based Partial Least Squares Regression Method and Its Application

Inspired by the traditional Wold＇s nonlinear PLS algorithm comprises of NIPALS approach and a spline inner function model, a novel nonlinear partial least squares algorithm based on spline kernel （named SK-PLS ） is proposed for nonlinear modeling in the presence of multicollinearity. Based on the inner-product kernel spanned by the spline basis functions with infinite number of nodes, this method firstly maps the input data into a highdimensional feature space, and then calculates a linear PLS model with reformed NIPALS procedure in the feature space and gives a unified framework of traditional PLS ＂kernel＂ algorithms in consequence. The linear PLS in the feature Space corresponds to a nonlinear PLS in the original input （primal） space. The good approximating property of spline kernel function enhances the generalization ability of the novel model, and two numerical experiments are given to illustrate the feasibility of the proposed method.     

基于核函数的模糊C均值聚类算法

通过引入Mercer核，把输入空间的样本映射到高维特征空间，实现了对样本在特征空间的优化，使各类样本之间的差别增大，从而较好地实现了对差别微弱的样本类之间的聚类．仿真实验的结果证实了该方法的可行性和有效性．