加权子空间的随机向量函数链接网络集成方法

随机向量函数链接网络(RVFL)是一种随机权网络模型,其基于非迭代权重更新方式,直接求解输出层权重完成模型训练,因此具有训练速度快的优点,已有的实验证明了其在分类和回归任务中均具有良好的泛化能力.目前在RVFL的改进工作中存在两点问题：改善网络结构会复杂化模型,容易造成过拟合现象;结合集成学习往往无法进一步通过增加集成多样性来提升模型性能.因此,本文基于子空间策略,提出了一种基于加权子空间的随机向量函数链接网络集成方法(WAB-RVFL).基于RVFL网络结构中输入层和输出层直连的线性特点,WAB-RVFL引入属性优化的思想并提出属性加权矩阵的概念,对属性子空间进行加权转化获得更优质的加权子空间,使其更利于模型进行集成训练.通过在8个高维分类数据集上的实验测试,证实了WAB-RVFL的可行性、合理性和有效性,其能够获得比6种流行的RVFL网络模型更优的泛化能力.     

采用负相关学习的SVM集成算法

为了平衡集成学习中多样性与准确性之间的关系,并提高决策分类器的泛化能力,提出一种基于负相关学习和AdaBoost算法的支持向量机(SVM)集成学习方法.将负相关学习理论融合到AdaBoost-SVM的训练过程中,利用负相关学习理论计算基分类器间的相关性,并根据相关性的值自适应调整基分类器的权重,进而得到加权后的决策分类器.在UCI数据集中进行仿真,结果表明:相较于传统的负相关集成学习算法和AdaBoost-SVM算法,所提出的方法分类准确率更高,泛化能力更好.     

差分进化算法优化的图注意力网络集成研究

为进一步提升图分类算法的性能和稳健性,提出了差分进化算法优化的图注意力网络集成.首先,通过划分原始样本让不同的基学习器关注数据的不同区域;其次,利用差分进化算法良好的搜索能力,以分类器集成的分类错误率为目标函数优化基学习器的权重向量;最后,在权重向量基础上综合各基学习器的输出作为分类器集成的总体输出.实验引入引文数据集...     

基于Boosting的支持向量机组合分类器

Boosting是一种有效的分类器组合的方法,文章提出用一个改进的Boosting方法对支持向量机分类器进行集成学习,得到Boosting-MultiSVM分类器;试验结果表明,基于Boosting的支持向量机训练是一个收敛过程,相比标准的支持向量机分类器,Boosting-MultiSVM分类器的泛化性能有不同程度的提高。     

模拟电路故障的支持向量机集成诊断新方法

为了解决支持向量机应用于多类别模拟故障诊断时泛化性能较低导致诊断精度难以提高的问题,提出了一种基于支持向量机集成的模拟电路故障诊断新方法.首先,通过将本次迭代中不可分区域的样本加入训练集来构造下一次迭代的训练集,以提高基分类器间的差异性;然后选择分类精度不低于平均分类精度的基分类器进行集成,以提高整体诊断精度.实验表明...     

基于分级偏最小二乘回归的径向基函数神经网络

为提高径向基函数神经网络的泛化性能,提出一种利用分级偏最小二乘回归方法构造径向基函数神经网络的方法,逐步增加网络中的隐节点数直至达到合适的网络规模,消除了训练数据中存在的多重共线性对网络泛化能力的不利影响.所得径向基函数神经网络的泛化能力比偏最小二乘回归构造的径向基函数神经网络提高了约30%.船舶航向跟踪预测控制仿真验证了该算法的可行性和有效性.     

基于二重扰动SVM集成分类的JPEG图像隐写检测

针对目前大部分JPEG隐写分析方法主要采用单一支持向量机分类器,可能产生泛化能力恶化、分类精度难以提高等问题,提出了一种新的基于二重扰动SVM集成分类的JPEG图像隐写检测方法.利用多项式核函数和高斯核函数构造混合核函数模型,并用主成分分析法进行特征变换,去除冗余信息,最后在变换后的特征空间上进行模型参数和特征的二重扰动产生成员分类器,并用多数投票法对它们进行组合.实验结果表明,与传统方法相比,具有更高的JPEG隐写图像检测率.     

基于RSBRA离散化方法的支持向量机集成

提出一种新的基于离散化方法的支持向量机集成算法,该算法采用粗糙集和布尔推理离散化方法构造有差异的基分类器,进一步提高了集成学习机的分类性能.实验结果表明,所提算法具有明显优于单一支持向量机的分类性能,并能取得比传统的集成学习算法Bagging和Adaboost更高的分类正确率.     

基于布谷鸟搜索算法参数优化的组合核极限学习机

针对单核极限学习机在泛化性能上存在一定局限性的问题, 提出将再生核函数与多项式核函数相结合, 建立一种新的组合核极限学习机模型, 使其具有全局核与局部核的优点, 并选择布谷鸟搜索算法对其参数进行优化选择. 仿真实验结果表明, 采用基于再生核的组合核函数作为极限学习机的核函数可行, 在实验数据集的多值分类和回归问题上, 与传统支持向量机及单核极限学习机相比, 该模型具有更好的泛化性能.     

基于二重扰动SVM集成分类的JPEG图像隐写检测

针对目前大部分JPEG隐写分析方法主要采用单一支持向量机分类器,可能产生泛化能力恶化、分类精度难以提高等问题,提出了一种新的基于二重扰动SVM集成分类的JPEG图像隐写检测方法.利用多项式核函数和高斯核函数构造混合核函数模型,并用主成分分析法进行特征变换,去除冗余信息,最后在变换后的特征空间上进行模型参数和特征的二重扰动产生成员分类器,并用多数投票法对它们进行组合.实验结果表明,与传统方法相比,具有更高的JPEG隐写图像检测率.     

基于布谷鸟搜索算法参数优化的组合核极限学习机

针对单核极限学习机在泛化性能上存在一定局限性的问题, 提出将再生核函数与多项式核函数相结合, 建立一种新的组合核极限学习机模型, 使其具有全局核与局部核的优点, 并选择布谷鸟搜索算法对其参数进行优化选择. 仿真实验结果表明, 采用基于再生核的组合核函数作为极限学习机的核函数可行, 在实验数据集的多值分类和回归问题上, 与传统支持向量机及单核极限学习机相比, 该模型具有更好的泛化性能.     

基于随机森林的文本分类模型研究

随着WWW的迅猛发展，文本分类成为处理和组织大量文档数据的关键技术.随机森林模型是决策树的集成，并且由一随机向量决定决策树的构造. 当森林中决策树的数目增大，随机森林的泛化误差将趋向一个上界.将随机森林模型应用于文本分类,在Reuter21578数据集上的实验表明，分类效果比较好，性能比较稳定，将其同C4.5, KNN, SM0, SVM 4种典型的文本分类器进行了比较，结果显示它的分类性能胜于C4.5，同KNN, SMO和SVM方法相当.     

一种新的支持向量机混合集成算法

针对基于Boosting和Bagging的集成算法不能有效提高"强学习器"泛化性能的问题,融合Boosting的样本扰动和快速核独立分量分析的特征扰动以生成若干个体支持向量分类器,使生成的训练样本集具有较大的差异性。然后基于模糊核聚类算法根据各个体支持向量机在验证集上的泛化误差选择最优个体进行集成。实验结果表明该算法能进一步提高支持向量机分类器的泛化性能,而且具有较强的稳定性。     

Boosting集成支持向量回归机的滑坡位移预测

支持向量回归机(SVR)在实际的学习应用中,由于数据时空的复杂性和算法本身的参数选择,学习模型难以达到预期的效果.针对这个问题,提出了基于Boosting集成的支持向量回归机方法.通过在原始数据集加权采样的基础上,进行多次迭代子SVR机器学习,不断调整样本权值再采样,优化机器学习模型,然后对迭代所得的每级支持向量回归结果按某种组合方法进行集成,得到最终的回归函数形式.应用该方法进行了仿真试验和滑坡变形时序预测研究.结果表明:使用集成的SVR进行回归预测较之单一的SVR具有更高的准确性和更好的泛化性.对Boosting与Bagging 2种不同的集成SVR,进行了比较研究,试验结果表明,2种算法性能相差不大,总体上前者强于后者.     

基于伪孪生网络的政务实体链接模型

为了提高政务领域实体链接任务的准确率,降低响应时间,提出了一种基于伪孪生网络的实体链接模型.模型通过伪孪生网络框架解耦问句和候选实体的特征提取过程,并预先计算候选实体的向量表示,显著地提高了模型在大规模数据集上的性能.同时,通过引入候选实体在知识图谱中的上下文信息,增强实体链接模型的语义匹配能力,从而提高链接准确率.实...     

基于模型决策树的AdaBoost算法

AdaBoost算法是一种将多个基学习器通过合理策略结合生成强学习器的集成算法,其性能取决于基学习器的准确率和多样性。但弱学习器分类精度不高往往也导致了最终强分类器性能较差,因此进一步为了提高算法的分类精确率,本文提出一种MDTAda模型,首先利用基尼指数迭代构造一棵不完全决策树,然后在决策树的非纯伪叶结点上添加简单分类器,生成MDT(模型决策树),将MDT作为AdaBoost算法的基分类器,加权平均生成强分类器。在标准数据集上的实验表明,相比传统的AdaBoost算法,本文提出的算法拥有更好的泛化性能和更优的间隔分布,且在与AdaBoost算法达到相同精度时所需迭代次数更少。     

基于回归支持向量机的信息检索

使用回归分析策略以文档满足用户的信息需求程度作为回归分析的目标值,利用回归支持向量机构建了信息检索模型.新模型不仅提供了融合不同来源特征的灵活框架,而且由于使用回归支持向量机寻找具有ε不敏感损失的回归函数,因此具有良好的泛化性能.实验表明,新模型性能优于目前主流的基于语言模型的信息检索方法.     

基于多尺度排列熵和正则化RVFL的高压隔膜泵单向阀故障诊断

高压隔膜泵单向阀运行工况复杂,运行时产生的振动信号具有非线性、非平稳特性,导致信号特征提取困难,故障状态难以识别.为了提取单向阀运行状态的非线性动力学特征,提升故障诊断模型的识别精度和泛化能力,提出了一种基于多尺度排列熵（Multi-scale Permutation Entropy,MPE）和正则化随机向量函数链接（Random Vector Functional Link,RVFL）网络的单向阀故障诊断方法.首先,对工况下采集的单向阀振动信号进行变分模态分解（Variational Mode Decomposition,VMD）获得既定的若干本征模态函数（Intrinsic Mode Function,IMF）分量;然后,计算IMF分量的多尺度排列熵,构建表征单向阀运行状态的特征值向量;最后,基于运行状态的特征值向量,建立正则化随机RVFL的故障诊断模型,并应用于单向阀的运行状态监测与识别.实验结果表明,构建的故障诊断模型能够精确地识别单向阀的故障类型,准确率达到98.89%.     

基于熵权法集成异质分类器的窃电检测

针对传统检测模型仅通过单一方法进行窃电检测具有局限性且用电数据中存在类不平衡的问题,从集成学习的角度出发,本文提出一种基于熵权法融合异质分类器的窃电检测模型。首先,通过少数类样本合成过采样技术（synthetic minority oversampling technique,SMOTE）处理用电数据不平衡的问题,其次综合考虑个体分类器之间的多样性以及各自的检测性能和训练机理进行基分类器的优选,最后,引入信息熵的概念,基于各个基分类器分类结果的分散程度,计算其权重占比,并以该权重占比集成各基分类器的输出。实验结果表明,对比传统的窃电检测模型,本文所提模型在多项评价指标下表现较好,具有良好的检测性能。     

用于木马流量检测的集成分类模型

针对传统集成学习方法运用到木马流量检测中存在对训练样本要求较高、分类精度难以提升、泛化能力差等问题,提出了一种木马流量检测集成分类模型。对木马通信和正常通信反映在流量统计特征上的差别进行区分,提取行为统计特征构建训练集。通过引入均值化的方法对旋转森林算法中的主成分变换进行改进,并采用改进后的旋转森林算法对原始训练样本进行旋转处理,选取朴素贝叶斯、C4.5决策树和支持向量机3种差异性较大的分类算法构建基分类器,采用基于实例动态选择的加权投票策略实现集成并产生木马流量检测规则。实验结果表明:该模型充分利用了不同训练集之间的差异性以及异构分类器之间的互补性,在误报率不超过4.21%时检测率达到了96.30%,提高了木马流量检测的准确度和泛化能力。