基于取样的潜在支持向量机序列最小优化算法

为了提高潜在支持向量机求解大规模问题的训练速度,提出了基于样本取样的潜在支持向量机序列最小优化算法,去掉了大部分非支持向量,把支持向量逐渐压缩到取样样本集中.此算法特别适合大样本数据且支持向量个数相对较少的情况.实验表明,改进的序列最小优化算法加速了潜在支持向量机分类器训练时间.     

混沌时间序列的最小二乘支持向量机预测

提出了最小二乘支持向量机混沌时间序列预测方法,并研究了三种混沌信号的预测性能。该方法在优化指标中采用了平方项,且只有等式约束,将传统支持向量机求解二次规划问题转化为求解线性方程组,因而简化了计算复杂性。仿真实验结果表明该方法预测模型参数选择容易、在较大范围内取值时对预测误差影响很小,而且即使在输入维数m小于Takens嵌入定理所确定的维数时,也具有很好的预测性能。     

最小学习机

针对极端学习机（ELM）不能用于多层前向神经网络学习的问题,通过揭示单层前向神经网络（SLFN）的ELM与岭回归以及中心化的岭回归之间的关系,提出了SLFN的最小学习机。通过证明核化的中心化岭回归与核化的PCA之间的关系,提出以无限可微的核函数为激励函数的多层前向神经网络（MLFN）的最小学习机LLM.SLFN/MLFN的最小学习机能够保持ELM的上述优势。     

最小学习机

针对极端学习机(ELM)不能用于多层前向神经网络学习的问题,通过揭示单层前向神经网络(SLFN)的ELM与岭回归以及中心化的岭回归之间的关系,提出了SLFN的最小学习机.通过证明核化的中心化岭回归与核化的PCA之间的关系.提出以无限可微的核函数为激励函数的多层前向神经网络(MLFN)的最小学习机LLM.SLFN/MLFN的最小学习机能够保持ELM的上述优势.     

基于优化核极限学习机的泥石流危险性评估

山区环境中泥石流的孕育受多种因素的影响,为提高泥石流危险性的预测精度,提出一种萤火虫算法(firefly algorithm, FA)优化核极限学习机(kernel based extreme learning machine, KELM)的预测模型。首先,针对数据维度爆炸的问题,通过主成分分析(principal component analysis, PCA)数据降维,使得留有大部分致灾特征信息的因子输入训练模型;然后,使用萤火虫优化算法更新核极限学习机的参数,将四川省北川县监测数据输入优化后的预测模型,并与其他传统机器学习算法进行对比分析,验证该算法的优越性;最后,使用多种指标综合评估模型的预测效果。结果表明,FA-KELM模型能够有效地简化数据结构,提高泥石流危险性预测的准确性,为泥石流灾害预测方面的研究提供参考和借鉴。     

基于SVM学习方法的分析

介绍了增量学习算法、序列最小优化算法、加权支持向量机算法等几种应用于大型数据库，在加快训练速度、降低分类错误率等方面有改进的SVM流行算法．在分析各种算法优缺点的基础上，提出了在线性样本训练、超大规模样本下满足KKT条件的算法是SVM算法的发展方向的观点．     

基于奇异值分解的极限学习机多变量时间序列预测模型

在极限学习机预测多变量时间序列研究中,针对以往将矩阵转换成向量作为模型输入,从而影响预测精度的问题,结合奇异值分解思想,提出一种直接以矩阵作为输入的多变量时间序列极限学习机预测型SVDELM.由Rossler、Chen’s、Lorentz和股票多变量时间序列的实验结果表明,SVDELM是一种有效的多变量时间序列预测模型.     

一种基于AdaBoost的极限学习机分类方法

极限学习机是一种新型的单隐层前馈神经网络,在训练网络的过程中随机给定输入层权值和隐藏层偏差,所以训练速度非常快,但却导致了输出不稳定.提出了一种基于AdaBoost的极限学习机,把极限学习机作为AdaBoost的基本分类器,通过改变输入数据的权重,使得极限学习机的分类性能得到提升.实验结果表明了该方法与极限学习机和传统的神经网络相比,能够提高极限学习机的学习性能,并且使极限学习机输出更加稳定.     

基于粒子群优化极限学习机的排水管结构状况评价

基于极限学习机(ELM)和粒子群优化(PSO)算法,建立一个新型排水管道结构性状况评价模型。采用PSO算法优化ELM中的输入权值矩阵和隐含层偏置,改善网络参数随机生成带来的分类精度偏低的问题。以上海市洋山保税港区排水管网为例,对分类器模型进行训练测试,并与ELM分类结果进行对比分析。结果表明,PSO-ELM算法以较少的隐含层神经元节点获得更高的分类精度,参数优化提高了模型拟合能力,对于城市排水管道结构性状况分类、判断具有可行性和有效性。     

加权极限学习机的多变量时间序列预测方法

提出一种基于样本分布的极限学习机预测模型WELMSD.该模型先用kN近邻密度估计方法估计出样本的密度值,再用估计出的密度值给传统ELM的经验风险项加权,克服传统ELM在对时间序列进行预测时忽略样本分布的缺点.基于Rossler混沌时间序列和上证、深证股票数据的实验仿真结果证明了所提算法的有效性,且当近邻参数k_N取值较小时,所提模型对参数不敏感,是一种更优的多变量时间序列预测模型.     

统计机器学习研究

通过将正则化框架引入到统计学习中来,介绍了几种当前流行的统计学习机器,分析了他们的性能,并探讨了快速求解算法.     

投影自表示无监督极限学习机

无监督极限学习机在投影过程中保持原始高维空间中的稀疏或近邻结构,样本在高维空间中存在冗余信息,原始的数据结构不一定适应于投影后的低维特征空间.为此,结合无监督极限学习机和子空间聚类的自表示学习,提出投影自表示无监督极限学习机模型.该模型是面向聚类的特征提取方法,在投影过程中学习自表示子空间结构,从而使无监督极限学习机提取的特征自适应于聚类任务.在IRIS数据集、 6个基因表达和2个医学影像高维数据集上进行实验,结果表明该模型和算法是有效的.     

基于抽样方法的不确定极限学习机

实际应用中的大量数据具有不确定属性,而传统的挖掘算法无法直接应用在不确定数据集上.针对不确定数据的分类问题,提出一种基于抽样方法的不确定极限学习机.该算法通过抽样的方法,对不确定数据集中样本的抽样实例进行学习和分类,得到该不确定样本的所属类别的概率,从而实现了传统极限学习机分类算法对不确定数据的分类,并极大降低了不确定对象实例的枚举代价.实验结果表明,该算法在不确定数据的分类问题中具有较好的有效性和高效性.     

前馈网络的一种高精度鲁棒在线贯序学习算法

基于离散傅里叶变换-极限学习机(DFT-ELM)提出了一种新的单隐层前馈神经网络在线贯序学习算法,命名为"在线贯序-离散傅里叶变换-极限学习机"(OS-DFT-ELM).该算法能够逐个或逐段学习数据,随着新数据的逐渐到达,单隐层前馈神经网络的内权矩阵和外权矩阵得到逐步调整.该算法与在线贯序-极限学习机(OS-ELM)相比,具有更高的精度和鲁棒性.同时,通过实验和分析,表明OS-DFT-ELM具有优良性能.     

极限学习机的快速留一交叉验证算法

针对回归和分类问题,提出一种极限学习机(Extreme Learning Machine, ELM)的快速留一交叉验证算法,并从理论和数值仿真两方面说明其有效性.结果表明,该算法避免了以训练样本数量N次的ELM模型的显式训练,其计算复杂度与N仅呈线性趋势增长,即O(N).即使在处理大型数据集建模问题时,该算法仍然可以快速地进行ELM模型的选择和评价.通过人工和实际数据集上的仿真实验,验证了该快速留一交叉验证算法的有效性.     

基于布谷鸟搜索算法参数优化的组合核极限学习机

针对单核极限学习机在泛化性能上存在一定局限性的问题, 提出将再生核函数与多项式核函数相结合, 建立一种新的组合核极限学习机模型, 使其具有全局核与局部核的优点, 并选择布谷鸟搜索算法对其参数进行优化选择. 仿真实验结果表明, 采用基于再生核的组合核函数作为极限学习机的核函数可行, 在实验数据集的多值分类和回归问题上, 与传统支持向量机及单核极限学习机相比, 该模型具有更好的泛化性能.     

一种基于支持向量机的直推式学习算法

直推式支持向量机(Transductive Support Vector Machine,TSVM)是标准的支持向量机算法在半监督学习问题上的一种扩展,但已有的TSVM算法存在训练速度慢、回溯式学习多、学习性能不稳定等缺点,针对这些问题提出一种改进的直推式支持向量机算法———ITSVM,该算法较准确地确定了待训练的未标识样本中的正负样本数问题,有效解决了传统TSVM中过多的回溯式学习问题,同时该算法也无需利用过多的未标识训练样本,从而减轻了计算强度.实验表明,ITSVM相比TSVM在分类正确率、分类速度以及使用的样本规模上,都表现出了一定的优越性.     

基于流形正则化的在线半监督极限学习机

在基于流形正则化的半监督极限学习机(SS-ELM)的基础上,利用分块矩阵的运算法则,提出了在线半监督极限学习机(OSS-ELM)方法.为避免在实时学习的过程中由于数据累积引起的内存不足,通过对SS-ELM的目标函数的流形正则项的近似,给出了OSS-ELM的近似算法OSSELM(buffer).在Abalone数据集上的实验显示,OSS-ELM(buffer)在线学习的累计时间与所处理的样本个数呈线性关系,同时,9个公共数据集上的实验表明,OSS-ELM(buffer)的泛化能力与SS-ELM的泛化能力的相对偏差在1%以下.这些实验结果说明,OSS-ELM(buffer)不仅解决了内存问题,还在基本保持SS-ELM泛化能力的基础上大幅度提高了在线学习速度,可以有效应用于在线半监督学习当中.