基于随机森林的多阶段集成学习方法

集成学习主要分为串行和并行学习方法.并行学习的优势在于分类器的并行学习和融合,对分类问题通常采用的融合策略为投票法或堆叠学习法,它们的代表分别为随机森林和堆叠泛化Stacking.为了进一步提高Stacking的分类性能,在经典Stacking算法原理的基础上,提出基于随机森林的多阶段集成学习方法,以随机森林作为基层的基学习算法,以投票法和学习法同时作为融合方法,来降低泛化误差.在UCI数据集上的实验结果表明,提出的模型在Accuracy和1F指标上,相比Bagging,随机森林和Stacking等分类器在分类性能上有很大的提升.     

基于频繁模式的选择性集成

针对集成学习方法在处理大规模数据集时具有计算复杂度高、基分类器数目多、分类精度不理想的问题,提出一种基于频繁模式的选择性集成算法. 该算法利用频繁模式挖掘的原理,将未剪枝的集成分类器和样本空间映射为事务数据库,并利用布尔矩阵存储分类结果,然后从中挖掘频繁基分类器组成最终的集成分类器,达到选择性集成的目的. 实验结果表明,与集成分类算法Bagging、AdaBoost、WAVE 和RFW 相比,该算法减小了集成分类器的规模,提高了集成分类器的分类精度和分类效率.     

融合分类器可信度的数据流集成分类

提出基于分类器可信度的权重计算策略,解决动态数据流集成分类中子分类器权重分配难题.该方法充分考虑了所处不同位置样本对权重计算的影响,利用信息熵描述分类器对预测结果的不确定性,建立分类器可信度与样本之间的关系,进而给出分类器可信度的定量计算方法.最后结合动态数据流分类需求和概念漂移特点,借助批量学习和时间遗忘策略构建基于分类器可信度的动态加权集成分类模型.理论分析和实验结果表明该分类方案可行,相比传统集中方法具有一定的优势.     

结合类别信念的AdaBoost算法(英文)

集成学习是一种受到广泛认可和使用的机器学习算法.为此提出一种新的多类集成学习算法,即AdaBoost belief.此算法改进多类集成学习算法AdaBoost·SAMME,使每个基分类器对于每个类别都有权重信息.这种类别上的权重被称为类别信念,可通过计算每次迭代中各个类别的正确率得到.将所提出的算法与原有的AdaBoost·SAMME算法从预测准确率、泛化能力以及理论支持等方面进行比较发现:在高斯数据集、多种UCI数据集以及基于日志的多类别入侵检测应用中,该算法不但具有更高的预测准确率和泛化能力,而且当类别数目增加,即类别更难以预测时,其分类错误率较原有AdaBoost·SAMME算法上升得更缓慢.     

基于集成极限学习机的电子商务风险预警研究

有效的信用风险预警可以降低电商商务活动中的风险,促进电子商务的发展。以极限学习机为基分类器的集成模型适用于电子商务企业信用数据样本少,维度高的特点;通过对少数类样本过采样缓解类别不平衡问题,进一步提高模型预测准确率。实证分析表明,基于类别平衡校正的集成极限学习机能够对企业风险预警等级作出有效的预测,且结果优于现有的基于传统机器学习算法及对应的集成模型,对提升电子商务风险预警效果有积极作用。     

Cox模型在电信客户流失原因分析中的研究

建立客户流失Cox模型,结合某高校在校大学生手机卡的生存数据,对影响显著的协变量进行多因素分析,并提出减少客户流失的措施.将Cox模型与Logistic模型进行比较,结果表明Cox模型的效果更好.     

改进Stacking算法的光伏发电功率预测

针对Stacking算法计算时间较长和样本数据较少的问题,提出了一种基于新向量表示和交叉验证精度加权的改进Stacking算法。采用三层算法结构,第1、2层为初级层,使用随机森林、SVR、XGBoost 3个学习器;第3层为次级层,使用LightGBM对第2层输出再次学习以减弱噪声。用一种新的向量表示法来增大层级之间输入输出数据的样本规模和样本分布密度,来保证数据维度不会随着初级层学习器数目的增多而增大;根据在交叉验证下初级层不同预测模型表现出预测准确度的差异性对结果进行加权处理。利用某光伏电站的发电数据进行实际算例分析,提出的模型在MAE、MSE及$R^2$指标上,相比随机森林和Stacking等模型其预测性能有很大的提升。     

基于SVM的直升机飞行状态识别

针对直升机飞行状态识别训练样本数据少而导致识别率不高的问题,提出一种基于支持向量机(support vector machine,SVM)的直升机飞行状态识别方法.首先利用限幅、去野点和均值滤波对飞行数据进行去噪,用最小二乘法对飞行数据进行直线拟合获取变化率,并根据线性相关性提取状态特征参数,以减少数据冗余;然后根据特征参数将飞行状态分为10小类,对每一小类进行SVM分类器设计以提高识别效率;最后利用训练样本训练每个SVM分类器,用训练好的SVM分类器识别直升机全起落飞行状态.通过某型直升机实飞数据进行飞行状态识别实验,并将所提出的方法与RBF神经网络法进行对比,所得结果表明该方法在小样本情况下的识别率有明显提高,可为直升机故障诊断和寿命预测提供依据.     

多分类器融合算法研究与应用

分类算法是数据挖掘、机器学习和模式识别中一个重要的研究领域.单一的分类算法一般会得到不同的分类结果,多分类器融合算法可以将各分类器的结果进行集成来提高系统的分类性能.该文提出一种多分类器融合算法进行分类分析,结果证明该算法在解决目标分类中具有优越性.     

一种基于特征组合和卷积神经网络的心脏病预测新方法

针对心脏病预测难的问题,提出了一种基于特征组合和卷积神经网络的心脏病预测方法。通过特征工程对数据进行预处理,减少噪声干扰;使用特征组合算法增强样本属性关联,生成特征矩阵;设计卷积神经网络对特征矩阵进行更高级抽象。该方法在UCI Heart Disease数据集上达到了0.898 9的预测精度,优于SVM、集成学习等传统机器学习方法,可作为相关领域专家判断的重要参考。     

基于支持向量机的多特征选择目标跟踪

目标判别跟踪方法一般以单一跟踪结果(正样本)和部分负样本训练分类器,并只用单一的特征描述目标,因此在目标发生遮挡、光照变化、形变等情况下很容易导致跟踪的失败. 为了克服单一正样本和单一特征训练的分类器导致跟踪不稳定的问题,提出一种基于支持向量机的多特征描述、多个正负样本进行分类器训练的目标跟踪方法,用训练分类器对所有候选粒子的不同特征进行判别和选择,并将具有最大置信概率的粒子确定为跟踪结果. 在跟踪过程中,利用子空间学习的方法实现正样本的更新,并以更新后的正负样本训练分类器. 实验结果表明,该方法在目标存在遮挡、光照变化、形变等情况下均可以取得较好的跟踪效果.     

基于深度学习的医疗电子数据特征学习方法

面向高维异构的医疗电子数据,如何才能有效开展特征学习以优化患者联合用药不良预后的风险预测？针对此问题,提出一种基于深度学习的医疗电子数据特征学习方法。首先结合深度学习长短期记忆网络模型和深度稀疏自动编码模型学习具有时序特性的患者联合用药数据的特征表示,并通过二分k-均值聚类方法形成联合用药综合表达因子。然后构建风险预测特征向量和风险相关特征向量,分别用于联合用药的不良预后风险预测和风险相关性分析。最后将该方法与已有的传统方法在真实医疗电子数据集上进行对比实验,结果表明：该方法在患者联合用药的不良预后风险预测中,准确率比传统方法提高了5%～10%,误判率降低了3%～5%,具有较好的风险预测性能。     

基于高维特征正则化的JPEG图像隐写分析

隐写分析是信息安全的重要内容。为提高JPEG图像隐写的检测能力,建立了散度矩阵的特征谱,提出了一种对载体和含密图像的训练特征进行变换的新方法。首先根据特征谱的分布规律进行建模,划分为3个区域：特征值下降区、平稳区、特征值为零的区域,然后通过白化处理得到白化特征向量,进而对处于3个不同区域的特征向量使用自适应正则化方法。经这几步处理得到特征转移矩阵,也就是输入特征的变换矩阵,最后取变换后特征的前t个向量完成特征选择。并将这些特征数据Fisher线性判决（Fisher linear discriminant,FLD）集成分类器进行训练。结果表明,通过对图像特征进行排序、正则化和选择,FLD集成分类器对JPEG图像隐写的识别准确率得到了提升。     

基于深度学习的联邦集成算法

联邦学习是多源隐私数据保护领域研究的热点，其框架在满足数据不出本地的情况下，可以训练出多方均满意的共同模型，但存在本地模型参数难以整合且无法在安全的情况下将多源数据充分使用的问题，因此提出基于深度学习的联邦集成算法，将深度学习与集成学习应用到联邦学习的框架下，通过优化本地模型的参数，提高了本地模型准确率；使用不同的集成算法来整合本地模型参数，在提升模型准确率的同时兼顾了多源数据的安全性。实验结果表明：与传统多源数据处理技术相比，该算法在mnist、digits、letter、wine数据集训练模型的准确率依次提升1%、8%、-1%、1%，在保证准确率的同时也提升多源数据与模型的安全性，具有很重要的应用价值。     

虚拟学习社区的个别化学习系统设计研究

阐述了虚拟学习社区的定义与特点,分析了虚拟学习社区的个别化学习的含义、基本特征及虚拟学习社区个别化学习系统的结构模型、功能模块等,在此基础上提出了新型的虚拟学习社区的个别化学习模式——基于Blog的个别化学习.     

中美学生数学学习水平的定量比较

给出了将不等值的原始分数转换为等值的能够进行比较和运算的标准分数的计算方法,并依据变换参数给出学习水平定量标准化评价,建立学习水平相对差距的标准化比较评价模型,据此做了中美大学生数学学习水平的实证抽样标准化评价比较.利用Kappa一致性检验和理想模型,分析了将原始分数转换为标准分数计算方法的可靠性和有效性.     

基于人体关键部位的不良图像过滤

肤色过滤不良图像的方法对于皮肤裸露较多但不含关键部位或类肤色区域较多的图像容易产生误检,为此设计了一种基于人体关键部位的不良图像过滤系统. 首先提取人体关键部位灰度分布的Haar-like特征,采用Adaboost学习算法训练得到人体关键部位分类器;然后通过此分类器得到人体关键部位候选区域,提取其梯度
直方图特征、基于灰度共生矩阵的纹理特征和基于颜色矩的颜色特征,使用支持向量机(support vector machine,SVM)进行训练;最后将训练得到的SVM分类器二次过滤人体关键部位,以提高系统整体的精度. 实验结果表明,该系统能准确地检测出人体关键部位,有效地降低不良图像的误检率.     

具有指数收敛速率的时滞系统采样迭代学习控制

针对具有状态时滞的连续时间系统提出一种采样迭代学习控制算法,可以避免连续系统D型和P型算法的不足,给出并证明了算法指数收敛的充分条件,该条件可保证系统跟踪误差能以指数收敛速率收敛至一个与采样周期相关的误差范围内。