双机制Stacking集成模型在短时交通流量预测中的应用

交通流量预测对于智能交通管理决策具有重要意义,为克服传统单一模型预测精度低、稳定性不足,同时为解决Stacking集成模型对基学习器输出信息利用率不高的问题,提出了一种双机制Stacking集成模型.双机制包括内机制和外机制,内机制通过在元学习器中引入注意力机制来调整网络中的特征信息,外机制通过在基学习器中融入动态权重系数来调整基学习器的输出信息.通过内外结合的双机制实现对基学习器输出信息动态变动规律的挖掘和提取并增强对基学习器输出信息的利用率,从而提升模型的预测精度和稳定性.选取I5NB高速公路上的76898条数据为实证研究对象,进行了基于随机森林、GBDT(gradient boosting decision tree)和Xgboost(extreme gradient boosting)单一模型、传统Stacking集成模型及双机制Stacking集成模型的预测对比分析.实证结果证明双机制Stacking集成模型预测精度最高,验证了该模型在短时交通流量预测中的有效性.     

计及机理机制的Stacking集成光伏发电预测

准确地光伏预测对电力调度、容量分析和机组组合至关重要。现有的数据驱动预测算法在计算速度和预测精度上有一定的提升,但未能考虑光伏发电的内在机理,存在泛化的风险。针对上述问题,提出了一种基于Stacking框架的机理模型和数据驱动结合的预测模型。其中,光伏发电机理模型将嵌入Stacking框架一层预测结构,构成基于长短期记忆神经网络(long short-term memory, LSTM)、极度梯度提升树(extreme gradient boosting, XGBoost)和机理模型的并行预测学习器。机理模型将光伏发电限制在一个合理的范围内,作为数据驱动模型的预测约束。所提出的模型能够从机理模型中提取有用的固有信息,并利用数据分析的能力提取历史数据中的非线性关系。基于安徽省某地区实际数据分析,所提模型相比传统数据驱动方法具有更高的精度。     

基于近邻成分分析的短期风电功率集成预测

针对短期风电功率预测关键气象因素影响程度的差异和单一模型预测精度不足的问题,提出一种基于近邻成分分析（neighborhood components analysis,NCA）特征加权和Stacking集成预测的短期风电功率预测模型。考虑气象特征对风电功率影响程度不同,利用NCA对气象特征进行加权,将加权特征作为模型输入,强化关键特征的影响程度;在此基础上,构建多个基预测器预测风电功率,并利用结合器将预测结果融合,建立Stacking集成预测模型。算例分析表明,以加权特征作为输入的Stacking集成预测模型具有更高的短期风电功率预测精度。     

基于Stacking融合的工程造价预测组合模型

为了快速准确地进行工程造价预测，本文收集高层住宅工程造价历史数据，利用相关性系数法对定量指标进行约简，运用Python构建了以随机森林、XGBoost和岭回归作为初级学习器，岭回归作为元学习器的Stacking集成学习的融合模型。结果表明：基于Stacking融合模型预测精度较高，结果稳定，平均绝对误差在5%以内，有助于项目建设前期的造价预测。     

基于Stacking特征增强多粒度联级Logistic的个人信用评估

主要针对广受关注的P2P网贷信用评估问题，利用机器学习方法提高申请人网贷违约预测准确率，研究出基于Stacking特征增强多粒度联级Logistic方法及其应用.所提分类器是一种混合模型，结合了Stacking集成学习和联级Logistic学习的思想.首先，通过网格搜索技术分别建立XGBoost, Catboost, LightGBM,AdaBoost以及Gradient Boosting模型，并筛选出适合的基评估器作为Stacking集成的初级学习器，logistic模型作为次级学习器，构建基于Stacking的多粒度扫描器，生成预测结果作为元特征，拼接成新特征数据.其次，通过新特征数据以及元特征在每级Logistic上的特征增强建立联级Logistic Regression模型，并且与现有的单一集成学习器和各基评估器在3个不同的P2P网贷信用评估数据集上进行对比.实验结果表明，通过AUC、准确率等指标对其进行评价，相比于各基评估器以及其他单一集成分类器，基于Stacking增强多粒度联级Logistic模型有较高的准确率，预测效果更优.     

基于深度集成学习的甘蔗压榨抽出率预测方法

先进的甘蔗压榨建模方法能够给生产提供指导,有利于提高糖厂的经济效益并节约能源.本文选择深度极限学习机(DELM)和长短期记忆网络(LSTM)作为基学习器,极端梯度提升(XGBoost)作为元学习器,构建了Stacking深度集成学习模型,用于甘蔗压榨抽出率的在线预测;并通过计算和实验,验证该方法的可行性和有效性.与其他模型相比较,本文所提模型的预测精度高5%～12%,并且对数据的敏感性更低,泛化性更好,能够适应甘蔗压榨的不同工况.     

基于特征工程的集成学习短期光伏功率预测

短期光伏功率预测对于电网稳定运行具有重要意义.为了解决单一模型预测精度不佳的情况,提出了一种在Stac-king集成学习框架下融合Bagging和Boosting算法的短期光伏功率预测模型.首先,引入Copula函数的相关性分析和轻量级梯度提升机的特征贡献度计算来进行特征筛选;然后,选取泛化性能较优的模型作为基学习器,...     

改进Stacking算法在妊娠期糖尿病预测中的应用

本研究提出基于妊娠早期体检、基因信息,结合集成学习的妊娠期糖尿病预测分类方法.设计了基于Stacking框架的改进模型ACS-Stacking.ACS-Stacking模型将基分类器输出的类别概率值作为基层输出结果,元层使用GBDT模型学习组合基层输出的类别概率结果,拓展了算法的层次结构.在基分类器层与元分类器层之间加入基分类器筛选层,通过CFS算法估计不同分类器集合中个体分类器准确性与多样性的权衡值,筛选出最佳基分类器集合,实现基分类器的自适应选择.研究结果表明,该模型F1值较单一模型提高约9%,较Stacking模型提高约7%,具有较好的预测准确性和稳定性.     

基于人工神经网络的设备可靠性组合预测方法研究

提出了一种基于人工神经网络的非线性组合建模与预测新方法,利用人工神经网络对复杂非线性系统的拟合能力,通过网络训练自适应地调整单一预测模型的权重,并应用MATLAB神经网络工具箱编制了非线性组合预测软件。将该方法应用于某发动机的故障预测,通过与自回归模型、灰色模型和线性组合模型的预测结果对比表明,该方法具有预测精度高,学习与泛化能力强的优点,在设备故障和可靠性预测中具有广泛的应用前景。     

RBF神经网络在有效灌溉面积预测中的应用

针对有效灌溉面积预测是一个复杂和不确定性的系统，采用RBF神经网络建立有效灌溉面积预测模型，具有结构自适应、局部泛化能力强、收敛速度快等特点。仿真结果表明，该模型具有较高的预测效果，相对于传统模型具有较好的预测精度和良好的自适应性。     

应用非线性加权的集成学习软件缺陷序列预测算法

针对当前软件缺陷序列预测算法准确度不高的问题,提出了基于非线性加权的集成学习软件缺陷序列预测算法(NLWEPrediction)。该算法在常见线性集成预测算法的基础上增加了非线性回归项,回归项代表了集成预测算法中基预测算法之间的相互关系,修正了线性集成预测的偏差,并通过梯度下降法求解了模型中的参数。实验表明:NLWEPrediction在14个软件缺陷数据集上的均方误差均小于250,并且平均绝对误差均小于13。通过与基预测算法、集成预测Bagging、Stacking算法和只考虑两个分类器关系的非线性加权集成学习算法进行对比,可以看出,NLWEPrediction预测算法的均方误差和平均绝对误差显著减小,预测精度显著提高,说明在线性集成预测算法基础上增加非线性回归项,能够有效提高集成学习算法的分类效果。     

基于熵值法改进Stacking的文本情感分析

在情感分析研究中,使用Stacking算法进行情感分析时基学习器的选择是至关重要的。传统的Stacking算法仅仅只是将不同学习器结合起来,没有区分它们之间的不同,同时也不能反映初级学习器的实际预测情况,针对此问题,基于熵值法改进Stacking算法进行文本的情感分类。首先,使用熵值法确定单一分类器的性能指标权重,将指标值的权重进行加权求和获得不同模型的综合得分,通过综合得分来选择性能最好的基学习器组合;接着,由于基模型中的各个分类器性能的不同,将基学习器训练后的预测结果赋予不同的权重,输入到次级学习器当中;最后再利用次级学习器进行训练并预测情感倾向。实验结果表明,基于熵值法改进Stacking模型优于传统的Stacking模型,说明基学习器的选择和重要程度对情感分类具有一定帮助,为之后文本情感分析奠定一定的基础。在情感分析研究中,使用Stacking算法进行情感分析时基学习器的选择是至关重要的。传统的Stacking算法仅仅只是将不同学习器结合起来,没有区分它们之间的不同,同时也不能反映初级学习器的实际预测情况,针对此问题,基于熵值法改进Stacking算法进行文本的情感分类。首先,...     

基于IRBFNN和IRAN的非线性动态系统在线自适应建模

将资源分配网络算法(RAN)与相似隐单元合并操作、冗余隐单元删除操作和基于滑动数据窗连接权值学习相结合,形成了改进的资源分配网络(IRAN)算法。IRAN算法用于非线性动态系统的在线建模,能有效地改善模型精度和泛化能力。将改进径向基函数(RBF)神经网络(IRBFNN)和IRAN结合可以用于不确定非线性动态系统自适应建模。仿真研究表明:所提出的建模方法在模型精简、泛化和自适应等方面均具有优良的性能。     

基于集成学习的用户信用卡违约预测模型研究

用户信用卡违约预测任务有助于银行等金融机构平衡经济风险与经济利益,对于银行信用卡业务的风险管控具有重要作用。针对用户信用卡违约预测问题,提出了一种基于集成学习的预测模型,有异于传统集成学习中的弱学习器。该模型采用集成模型和神经网络模型作为基学习器,从而提升模型整体的预测效果。首先通过预处理提取用户信用卡数据集的相关特征,然后分别采用优化后的决策树、随机森林、GBDT、XGBoost、CatBoost和SPE六种机器学习模型与神经网络模型进行并行训练和预测,最后通过加权软投票法集成基学习器结果并输出最终预测结果。结果表明,相对于基学习器,该模型在各项评估指标上均有所提升,且拥有更好的模型泛化能力。     

考虑竞争的电影首映日票房集成预测模型研究

电影首映日票房预测对该日排片、后续放映日票房及总票房有显著影响。在构建考虑竞争的电影首映日票房预测变量集的基础上,建立首映日票房集成预测模型。首先使用多元线性回归(multiple linear regression, MLR)、支持向量回归(support vector regression, SVR)、套索回归（Least absolute shrinkage and selection operator, Lasso）和极端梯度提升（Extreme Gradient Boosting, XGBoost）等算法建立基学习器,随后使用XGBoost算法作为原学习器构建堆栈集成预测模型,最后利用收集到的数据进行对比实验。实验证明,加入竞争变量的电影首映日票房预测变量集适用于首映日票房预测;相比单一模型,提出的集成预测模型的准确性、泛化性能和稳定性均有提升,相比较传统预测方法对首映日票房预测更准确。提出的集成预测模型有助于提升首映日票房排片的有效性。     

基于Stacking集成学习的网络安全态势预测方法

针对现有的网络安全态势预测模型预测精确度低且泛化能力差等问题,提出一种基于Stacking模型融合的态势预测方法。该方法中,借助Stacking算法将TCN网络、WaveNet、GRU、LSTM进行集成挖掘态势数据之间的相关性;之后利用逻辑回归进行预测得到最终态势值;利用粒子群优化算法进行参数寻优,提升模型性能。基于2个数据集进行验证,实验表明,所提预测方法具有较小的均方误差和平均绝对误差,收敛速度较快,拟合度均可达0.999,可以很好解决预测精确度低的问题,提升了模型的泛化能力。     

基于Windows API调用序列的恶意代码检测方法

为解决现有恶意代码检测方法存在的特征提取能力不足、检测模型泛化性弱的问题，提出了一种基于Windows API调用序列的恶意代码检测方法.使用N-gram算法和TF-IDF算法提取序列的统计特征，采用Word2Vec模型提取语义特征，将统计特征和语义特征进行特征融合，作为API调用序列的特征.设计了基于Stacking的三层检测模型，通过多个弱学习器构成一个强学习器提高检测模型性能.实验结果表明，提出的特征提取方法可以获得更关键的特征，设计的检测模型的准确率、精确率、召回率均优于单一模型且具有良好的泛化性，证明了检测方法的有效性.     

基于Stacking集成模型的网络流量预测研究

针对网络流量预测准确率不够高的问题,结合当下流行的集成学习(Ensemble Learning),提出一种Stacking集成多种模型的网络流量预测方法;将天气因素量化后作为输入,使用7个机器学习模型分别对网络流量进行预测,然后根据对不同模型预测结果的Pearson相关系数的分析,选取相关性较弱的5个模型作为Stacking的基模型,进行网络流量的预测,并与不考虑天气因素的预测结果进行比较;结果显示:Stacking方法相较于各基模型都有更好的表现,同时,天气因素的加入使得模型预测结果的准确性提高了;Stacking方法将不同的预测方法进行组合,相较于神经网络方法能以不同模型对数据进行不同角度的处理,能获得比一般方法准确率更高的预测结果,对于网络流量的预测具有一定的实用价值。     

鱼群算法优化组合核函数GPR的油井动液面预测

针对抽油井动液面(DFL)检测主要依靠人工操作回声仪测试,无法实时在线检测,而单一核函数的高斯过程回归(GPR)无法明显提高预测精度和泛化能力,提出了一种人工鱼群算法(AFSA)优化组合核函数的动态高斯过程回归动液面预测模型.采用多项式函数、线性函数与径向基函数组合构建核函数,利用人工鱼群算法对核函数模型参数进行寻优,采用快速傅里叶变换(FFT)和核主元分析(KPCA)融合提取时频数据非线性特征作为模型输入,提高模型的预测精度和泛化能力.油田现场应用验证了该方法的有效性.     

基于KPCA-LSSVM的丁苯橡胶聚合转化率软测量

针对丁苯橡胶聚合转化率需在线实时预测,考虑实际工况的复杂性,首先采用具有较强非线性特征提取能力的核主元分析(KPCA)对数据进行前期处理,然后将其结果作为具有学习速度快、泛化能力强的最小二乘支持向量机(LSSVM)的输入,并以交叉验证法对LSSVM参数寻优,从而获得丁苯橡胶聚合转化率软测量模型.经采用工业现场数据仿真研究,聚合转化率预测绝对误差大于1.5的比例小于样本总数的10%,说明该模型预测精度能满足生产要求.