一种改进的随机向量函数链接网络集成模型

针对传统随机向量函数链接网络集成模型时多样性不足和泛化性能差的问题，提出一种改进的随机向量函数链接集成模型.首先，通过6种简单回归模型替代传统随机向量函数链接网络中的直接链接；其次，采用高斯过程回归(Gaussian process regression, GPR)方法初始化隐含层参数，增强各基分类器的多样性；最后，使用不同的结合策略，集成具有差异性的基分类器得到预测模型.结果表明，改进的随机向量函数链接集成模型的预测精度明显高于其他传统集成模型，较传统随机向量函数链接网络具有更好的泛化性能.     

基于多尺度排列熵和正则化RVFL的高压隔膜泵单向阀故障诊断

高压隔膜泵单向阀运行工况复杂,运行时产生的振动信号具有非线性、非平稳特性,导致信号特征提取困难,故障状态难以识别.为了提取单向阀运行状态的非线性动力学特征,提升故障诊断模型的识别精度和泛化能力,提出了一种基于多尺度排列熵（Multi-scale Permutation Entropy,MPE）和正则化随机向量函数链接（Random Vector Functional Link,RVFL）网络的单向阀故障诊断方法.首先,对工况下采集的单向阀振动信号进行变分模态分解（Variational Mode Decomposition,VMD）获得既定的若干本征模态函数（Intrinsic Mode Function,IMF）分量;然后,计算IMF分量的多尺度排列熵,构建表征单向阀运行状态的特征值向量;最后,基于运行状态的特征值向量,建立正则化随机RVFL的故障诊断模型,并应用于单向阀的运行状态监测与识别.实验结果表明,构建的故障诊断模型能够精确地识别单向阀的故障类型,准确率达到98.89%.     

短期负荷预测的集成改进极端学习机方法

首次将极端学习机(ELM)理论引入短期负荷预测领域,并以BFGS拟牛顿法对ELM网络左侧权值进行优化训练调整,形成基于迭代-解析的改进ELM预测模型.同时,采用集成技术Boosting算法,生成多个差异度大的改进ELM子网络,对其进行加权组合,构建了集成改进极端学习机预测模型.该模型不仅有效避免了极端学习机左侧权值随机给定的输出稳定性问题,而且克服了单一网络预测模型泛化能力较差等缺陷.     

基于改进的半监督阶梯网络SAR图像识别

针对目前SAR(Synthetic Aperture Radar)图像中样本人工标记成本高、传统算法分类识别较低的情况,提出一种基于改进半监督阶梯网络(Semi-supervised Ladder Network,SSLN)的SAR图像分类识别方法 .首先在原SSLN模型的解码器网络中使用卷积神经网络代替全连接层,对编码器输出的每层数据进行全局深度特征提取,这样做有利于图像降噪,实现对输出数据的重构.其次,为解决SAR图像各类数据集分布不均衡的问题,同时提高网络的泛化性能,对阶梯网络训练层中各类别损失函数的权重进行优化,根据各类别样本数所占总样本数的比重,对少样本类别损失函数调高权重,对多样本类别损失函数调低权重.在公开数据集MSTAR(Moving and Stationary Target Automatic Recognition)上的实验表明,改进后的半监督阶梯网络分类的识别准确度明显优于SSLN算法,且具有更好的泛化性.     

基于Elman神经网络集成的诺西肽发酵过程建模

针对单神经网络模型外推效果不理想、泛化能力较差的缺点,将神经网络集成用于诺西肽发酵过程的建模.采用Bagging技术进行重复取样用于个体神经网络的训练,结论生成时采用加权平均法,各子网络的权重利用差分进化算法来确定.个体神经网络选用典型的动态神经网络Elman网络,通过对多个Elman神经网络模型的输出进行融合,建立了基于神经网络集成的诺西肽发酵产物浓度模型.最后将所建立的模型与基于单神经网络的模型进行了比较,结果说明该模型具有更高的精度和泛化能力.     

用聚类支持向量机模型监测环保设备运行状态

针对环保设备多状态监测与识别问题,提出了一种基于多分类聚类支持向量机的分类算法模型.该算法模型充分利用多个相关联被监测设备及其状态属性特征,采用神经网络聚类分析获得关联特征的聚类子空间,再对聚类子空间构造二叉树支持向量机进行多分类识别.该算法模型避免了盲目分类,与单纯的支持向量机算法比较具有更好的分类性能.通过对日本大晃船用污水处理装置实测样本的训练、检验表明,该算法具有98%以上的分类识别率.     

采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

一种基于ICA的特征Bagging支持向量机集成方法

为提高支持向量机集成的泛化性能,提出一种基于独立成分分析法的特征Bagging支持向量机集成方法,删除了冗余特征.该方法从得到的独立成分特征空间中提取特征子空间,避免了直接从原特征空间中随机选择特征子空间而导致的对特征依赖或相关性的破坏,提高了个体支持向量机的性能,保证了个体支持向量机之间的差异度.在UCI和Stat-Log数据集合上的仿真实验表明,该方法具有更好的泛化性能.     

基于仿真样本生成的极速学习机泛化能力改进算法

极速学习机出色的训练速度和泛化能力受到了广泛的关注,已有的针对于提升极速学习机泛化性能的学习算法主要集中于优化其框架结构,增加了模型的复杂度并容易产生过拟合.提出一种基于仿真样本生成策略的极速学习机泛化能力改进学习算法(Extreme Learning Machine Generalization Improvement through Synthetic Instance Generation,SIGELM),该算法不需要修改极速学习机的框架结构(包括输入层权重、隐含层偏置、隐含层节点个数、隐含层节点激活函数类型等),而是利用与训练集中高不确定性训练样本近似同分布的仿真样本优化极速学习机的输出层权重.为了获得符合要求的仿真样本,SIGELM在高不确定性训练样本的邻域内选择能够增加极速学习机训练表现的仿真样本.实验结果证实该算法显著地改进了极速学习机的泛化能力,同时有效地控制了极速学习机的过拟合.     

差分进化算法优化的图注意力网络集成研究

为进一步提升图分类算法的性能和稳健性,提出了差分进化算法优化的图注意力网络集成.首先,通过划分原始样本让不同的基学习器关注数据的不同区域;其次,利用差分进化算法良好的搜索能力,以分类器集成的分类错误率为目标函数优化基学习器的权重向量;最后,在权重向量基础上综合各基学习器的输出作为分类器集成的总体输出.实验引入引文数据集...     

加权的概率犹豫模糊集的三维向量测度法与决策应用

为了更加精细化地描述概率犹豫模糊集,将概率犹豫模糊元中的隶属度添加相应的决策专家权重,并由此提出了加权的概率犹豫模糊集概念.用三维向量表示加权的概率犹豫模糊数,在此基础上建立了加权的概率犹豫模糊元的三维向量得分函数模型、三维向量离差函数模型、2个加权的概率犹豫模糊元的大小比较规则与距离测度模型.分别给出了属性的外部权重、内部权重以及综合权重的计算方法.在属性的3种权重条件下,运用方案的整体得分值与内部决策专家评价差异值2个因素计算方案的综合属性值,进而对各个方案排序.决策结果表明,在利用三维向量刻画加权的概率犹豫模糊集的基础上建立的决策算法不但有效可行,而且提供了一种多元化的决策方法.     

一种局部属性加权朴素贝叶斯分类算法

朴素贝叶斯模型具有的简单性和有效性,使其在诸多问题领域表现出优良的性能,但其属性条件独立性假设在实际应用中难以成立.而属性加权是降低属性条件独立性假设对分类器性能影响的主要途径.传统建立在整个数据集上的单一全局模型忽略了每个测试实例所具有的特点,同时从整个训练集上学习到的属性权重并不能准确反映每个属性对待分类实例的影响.为此提出一种基于数据驱动的懒惰式局部属性加权方法,它在每个测试实例的近邻集合上学习属性权重,并通过最优化方法建立相应的局部属性加权朴素贝叶斯模型.实验结果表明:和当前常见的准朴素贝叶斯模型相比,本文模型具有较高的分类准确率.     

基于并行双向门控循环单元与自注意力机制的中文文本情感分类

在基于深度学习的文本情感分类研究领域中,目前传统的模型主要是序列结构,即采用单一的预训练词向量来表示文本从而作为神经网络的输入,然而使用某一种预训练的词向量会存在未登录词和词语语义学习不充分的问题。针对此问题,提出基于并行双向门控循环单元（gated recurrent unit,GRU）网络与自注意力机制的文本情感分类模型,利用两种词向量对文本进行表示并作为并行双向GRU网络的输入,通过上下两个通道分别对文本进行上下文信息的捕捉,得到表征向量,再依靠自注意力机制学习词语权重并加权,最后对两个通道的输出向量进行向量融合,作为输入进入全连接层判别情感倾向。将本文模型与多个传统模型在两个公共数据集上进行实验验证,结果表明本文模型在查准率、查全率、F₁值和准确率等性能指标上相比于双向门控循环单元网络模型、双向长短时记忆网络模型和双向门控循环单元网络与自注意力机制的单通道网络模型均有所提升。     

选择性集成学习模型在岩性-孔隙度预测中的应用

储层是油藏地质建模的主要对象,储层属性参数的预测是建模的重要基础和主要难点之一。利用机器学习方法建立预测模型是目前研究的一个热点。针对单一机器学习方法在孔隙度预测方面存在的容错率低、过拟合等缺点,提出了融合岩性分类进行选择性集成学习建立预测模型的方法。该方法首先使用支持向量机进行岩性分类,并将岩性分类结果作为孔隙度选择性集成预测模型的输入。然后在研究分析典型机器学习方法的基础上,通过主成分方法分析法从支持向量回归、径向基(radial basis function,RBF)神经网络、随机森林、岭回归和K近邻回归等经典模型中选择出一组表现优异的个体学习模型组成集成学习模型,个体在集成模型中的权重由"主成分权重平均"法获得,最终采用加权平均法得到集成学习模型的输出。该方法考虑了岩性对孔隙度的影响,克服了单一模型存在的不足,模型的泛化能力强。研究结果表明,该方法的预测精度明显优于其他单一机器学习方法,适应性好。     

基于属性相似度的云分类器

提出了属性相似度概念解决高维对象分类的权重问题,并结合云理论建立了基于属性相似度的云分类器.采用云理论建立训练集的各属性模型,表达各属性值隶属于其类别中心Ex的程度.分类模型由属性模型集成得到,属性权重根据属性相似度计算.各类别的同一属性间的相似度越大,此属性对分类的作用越小.基于粒子群优化方法对分类模型的中心位置Ex进行优化.将此分类器与普通云分类器应用于iris数据集的分类实验,该分类器的分类效果好于后者.     

样本属性重要度的支持向量机方法

支持向量机(SVM)是一种新的机器学习方法,已经广泛应用于模式识别和函数估计等问题中.针对现有的加权支持向量机(WSVM)和模糊支持向量机(FSVM)只考虑样本重要性而没有考虑属性重要性对分类结果的影响的缺陷,提出了基于样本属性重要度的支持向量机方法,该方法首先利用信息论中的信息增益技术计算各个样本特征属性对分类属性的重要度,然后对所有样本的同一特征属性的值分别用对应的属性重要度进行加权,最后所得数据集用于训练和测试SVM.数值实验的结果表明,该方法提高了分类器的分类精度.     

基于加权特征子空间的支持向量机核函数研究

针对数据分类交叉空间易错分问题,提出一种基于加权特征子空间的支持向量机核函数方法。该方法利用加权特征子空间与稀疏表达等相关理论进行支持向量机核函数优化,首先利特征子空间重叠率与数据的信息熵对数据特征进行加权,再通过对L_1范数正则项的加权处理调节异类数据间的稀疏性和同类数据间的稠密性;最后对处理好的数据进行分类测试。仿真实验表明该算法能够在一定程度上提升分类效果,以达到优化核函数的目的。     

基于改进角分类神经网络的变风量空调系统故障诊断

针对变风量空调系统的故障诊断问题及其特点,提出了一种基于改进角分类神经网络--FDCC的故障诊断模型.该模型克服了CC4角分类神经网络输出结果为二进制的局限,根据故障模式所落入的k最近邻的样本泛化空间来进行故障诊断,并输出结果向量,其各分量为各故障原因可能出现的概率.     

基于加权近似支持向量机的文本分类

随着因特网的迅速增长,能够分类大规模文档的高效文本分类算法变得非常重要.该文提出一种基于加权近似支持向量机模型的文本分类算法,加权近似支持向量机对近似支持向量机作了改进,通过为每个训练误差增加一个权值和使用在原空间直接求解的算法,克服了近似支持向量机模型不适合不平衡数据分类和高维数据分类的缺点.试验结果表明,与标准支持向量机算法相比,该算法的分类质量与训练速度都有提高,是一种适合文本分类的高效算法.     

神经网络分类器动态集成方法

提出一种神经网络分类器的动态集成方法.基于bootstrapping构建不同的个体神经网络,针对混合属性,通过不同的加权最近邻设计评估单个网络的分类精度,在此基础上动态选择误差率较小的神经网络,经过投票形成集成分类结果.将该方法与其它几种集成方法在10个UCI数据集上进行了分类性能比较.实验结果表明,该方法在上述所有数据集上的平均分类精度最佳,同时发现,Bagging比隐层神经元数法能更好地生成个体网络,而将两者结合起来训练个体神经网络,并不能明显提高集成性能.