XGBoost-ESN组合模型股价预测方法

提出XGBoost-ESN组合模型股价预测方法.使用网格搜索法对XGBoost模型和ESN模型进行参数优化并改进模型结构,利用最小二乘法联合XGBoost和ESN进行数据预测.测试结果表明,改进的XGBoost-ESN组合模型能有效减少预测误差,对股票价格预测的精度更高.     

基于XGBoost的深圳二手房价格预测

为了更加精准地预测二手房价格,该文以2019年深圳市二手房的真实交易数据为研究对象,利用线性回归模型、随机森林模型和XGBoost模型并加以POI计算来预测二手房价格.首先,对数据集进行清洗并可视化展示.其次,运用百度地图进行POI处理扩充数据集,使得数据集接近现实情况.接着,按照数据特征对房价影响的重要程度进行了排序,选取重要的特征来训练模型.最后,通过数值结果分析,XGBoost模型对二手房的房价评估效果最好,尤其是经过POI处理的数据集和XGBoost模型的这种组合,对于深圳市的二手房价格具有极好的预测效果.     

改进的Prophet融合误差预测模型应用于大气二氧化硫时序预测

近年来,天气预报中的空气质量预报成为大众尤为关心的热点,由于二氧化硫对空气质量水平变化的影响较大,因此准确预测二氧化硫的浓度变化尤为重要.采用XGBoost模型对Prophet模型的预测误差进行修正,建立改进的Prophet融合误差预测模型,对于空气质量中的关键指标二氧化硫进行时序预测.将时序数据输入Prophet模型,对Prophet生成的预测结果与源输入比较求出残差,构建关于残差的时序序列,利用XGBoost进行残差时序建模,获取残差的修正值,将修正值返回输入到Prophet模型.通过上述步骤,构建特定时序数据融合模型.实验数据表明,融合模型在预测结果中的平均绝对误差和均方根误差分别为1.08和1.38,与Prophet相比,误差指标分别降低2.47,2.45;与差分整合移动平均自回归模型相比,误差指标分别降低0.49,0.47;与XGBoost模型相比,误差指标分别降低0.54,0.52.证明融合模型的预测精度优于上述模型.     

基于XGBoost模型的股骨颈骨折手术预后质量评分预测

将XGBoost算法推广到股骨颈骨折病例的临床数据中,并用Harris评分进行预测,得到了预测精度高、运算速度快的基于XGBoost算法的股骨颈骨折手术预后质量评分模型,证实了XGBoost算法解决医疗领域相关分类问题的有效性。     

基于机器学习对串联排队系统等待时间的预测

串联排队系统是排队网络的基本结构,研究串联排队系统对分析排队网络具有重要意义.串联排队系统中站与站之间存在关联性,上游站的输出过程是下游站的输入过程,对于不满足马尔可夫性的排队系统,下游站的到达过程很难用解析的方法分析.对于一般的串联排队系统,本文基于机器学习对串联排队系统的平均等待时间进行预测,通过数值实验比较机器学习中线性回归模型和非线性回归模型的预测效果.实验结果表明,非线性回归模型优于线性回归模型,XGBoost算法对串联排队系统的平均等待时间的预测准确度较高.此外,本文将XGBoost算法与传统的近似分析方法进行比较,发现XGBoost算法的预测效果优于传统的近似分析方法.     

基于XGBoost的短时交通流预测模型

为提高路段短时交通流的预测精度,选取路段平均旅行时间作为预测指标,建立了一种基于极端样度上升(extrem gradient boosting,XGBoost)的短时交通流预测模型。首先通过对交通流数据的分析,在考虑交通流时空特性的基础上,分别构建目标路段时间序列训练集、测试集以及时空序列训练集、测试集,然后基于XGBoost模型以及构建的训练样本集建立时间序列预测模型以及时空序列预测模型,并利用训练好的模型进行预测,最后将模型预测结果与线性回归模型、神经网络模型预测结果进行比较。实验结果表明:基于XGBoost的短时交通流预测模型能够对路段未来时段平均旅行时间进行比较准确的预测,其中时间序列预测模型均方根误差为5. 32,时空序列预测模型均方根误差为4. 82,均低于线性回归模型和神经网络模型,且相比于仅考虑时间因素的短时交通流预测模型,同时考虑时空因素的预测模型得到的误差更低,预测效果更好。     

考虑环境因素的电动汽车充电站实时负荷预测模型

为了减少电动汽车大规模集成到电网造成的不利影响,提出了一种能够实现充电站充电负荷精准预测的方法。该方法利用LightGBM（light gradient boosting machine）与XGBoost（eXtreme gradient boosting）模型构建线下?线上组合模型。考虑充电负荷、时间、温度、天气等历史数据,利用LightGBM模型初步建立充电负荷线下预测模型;基于XGBoost模型,以线下预测模型输出负荷和实际负荷的误差为优化目标,实时变化的交通流量为协变量,建立线上预测模型,并对初步预测结果进行误差修正。某市实际充电站预测结果表明,相比于随机森林（RF）、LightGBM模型、XGBoost模型、多层感知机（MLP）以及LightGBM?RF组合模型,该组合模型具有更高的预测精度,同时可以准确预测不同充电站的实时充电负荷。     

基于XGBoost的新零售优惠券使用行为预测

为实现新零售优惠券的定向投放,提出了对用户优惠券使用行为预测的模型.该文采用XGBoost算法,突破了以TAM模型(技术接受模型)为基础解释个人优惠券使用意愿的传统方法,并基于口碑网的真实交易数据进行了特征提取和用户使用行为建模.在K折交叉验证之后通过变量重要性评分,确定了对消费者使用决策贡献度较高的特征,并与随机森林和GBDT(梯度提升决策树)算法进行了AUC(Area under curve)准确率的对比.该研究证明了基于XGBoost的集成学习算法在优惠券使用行为预测中的有效性,对新零售精准营销有重要的现实意义.     

改进粒子群优化XGBoost模型的高速公路服务区交通量预测

为了科学有效地评估高速公路服务区交通通行服务能力和进行基础设施优化配置,提出一种基于改进粒子群算法(Improved Particle Swarm Optimization,IPSO)和XGBoost融合的高速公路服务区交通量预测模型.首先对粒子群算法的拓扑关系结构进行改进,将粒子群划分为主粒子和从粒子,获得多个改进粒子组,并给出改进后主从粒子速度和位置的更新方法;其次利用线性递增和递减函数对粒子的迭代寻优速度进行自适应调整;最后在模型训练过程中,引入交通量调查数据这一重要特征,并利用IPSO算法对XGBoost模型的主要超参数进行优化选择,建立了交通量调查数据和服务区各交通量之间的IPSO_XGBoost预测模型.结果表明:提出的改进粒子群算法具有更强的参数寻优能力,迭代收敛速度更快,能够搜索出XGBoost模型的理想超参数,实现对服务区交通量的有效预测.同时,提出模型的预测性能明显优于LSTM、XGBoost、CNN-LSTM和PSO_XGBoost,对小型车、大型车、货车、车当量和人当量数据的预测精度分别达到了0.913、0.815、0.872、0.931和0.924.     

基于多模型融合的互联网信贷个人信用评估方法

针对网络个人信用有效评分缺失的问题,分析了互联网信贷个人信用评估数据的特点,选用支持向量机、随机森林和XGBoost分别建立了信用预测模型,并对3种单一模型进行了投票加权融合. 基于互联网信贷数据的特点,在特征工程中对样本集特征进行了离散化、归一化和特征组合等处理. 为增加对比,对实验数据集进行了FICO评估核心Logistic回归分析. 实验结果表明:3种单一算法性能均优于Logistic回归,XGBoost表现优于支持向量机和随机森林模型,预测相对准确;投票融合模型的表现比单一模型更好,模型分辨能力更优秀,预测精度更高,更适用于互联网信贷个人信用评估.     

融合矩阵分解和XGBoost的个性化推荐算法

针对传统的协同过滤推荐算法中评分矩阵过于稀疏和算法准确度不高的问题,提出一种融合矩阵分解和XGBoost算法的推荐算法(MFXGB,Matrix Factorization XGBoost),其特点是利用SVD++算法(SVD,Singular Value Decomposition)对用户项目评分矩阵进行填充,避免过多的缺失值对算法精确度的影响,再利用XGBoost(eXtreme Gradient Boosting)算法训练有监督的模型用于预测用户评分.为了克服计算成本过高的困难,提出利用K-均值聚类方法进行特征提取用于训练XGBoost模型.将MFXGB算法应用于MovieLens数据集进行实验分析,结果显示,MFXGB算法的推荐精确度比传统的3种方法分别提高了8.91％、10.18％和11.79％,效果明显优于传统的推荐算法.     

基于RFE-RF-XGBoost的坝体位移预测研究

为了加强尾矿库的安全稳定管理,提高溃坝预测预警水平,以坝体位移为研究对象,安全监测数据为研究基础,提出一种基于特征递归消除与随机森林和极限梯度提升的尾矿坝坝体位移预测模型,并与XGBoost、LSTM神经网络、BP神经网络、SVR等预测模型对比,以验证其预测效果.结果表明:所提出模型平均相对误差低于XGBoost模型3...     

基于XGBoost与SVR变权组合模型致密油的采收率预测

致密油储层因具有渗透率与产能低下的特点,多采用大型水力压裂改造储层来提高采收率,根据不同的地质、压裂参数变化,预测改造后的采收率对于压裂施工改造有良好的指导作用。目前多因素影响的致密油压裂后采收率预测理论模型,难以实时准确地根据压裂方式及参数来预测压裂后油藏采收率变化。为进一步提升致密油的采收率预测精确度,本文引进机器学习进行预测,基于极限梯度爬升算法（XGBoost）和支持向量回归算法（SVR）进行了一定改进得到变权组合模型XGBoost-SVR,模型借鉴残差进化机制,实现加权融合系数的最优组合,该组合模型可对两种单模型进行优势互补,避免了因单一模型参数导致的范围性误差,增大模型预测容错率。本文首先对致密油的采收率影响因素进行收集整理,分析地质因素、储层因素和工程因素对采收率的影响,构造相关原始数据集;其次将预处理后数据集输入SVR单模型和XGBoost单模型分别进行训练,得出单模型预测值;最后采用基于残差的自适应的变权组合方法建立XGBoost-SVR组合模型,得到各模型最终预测结果,明确采收率影响因素及各影响因素权重比。模型预测结果表明：与SVR和XGBoost单模型相比,组合模型在预测精度达到94.63%,表现出更好的适应性。     

航班到港延误时长预测及特征分析

为破除XGBoost模型的黑盒特性,增强模型的说服性,提出一种基于SHAP的可解释性航班到港延误时长预测模型。首先,对航班历史数据、天气数据进行融合,在融合数据的基础上进行异常值处理,并利用递归特征消除方法进行特征选择;其次,构建航班延误时长预测模型,利用遗传算法进行参数调优,并与目前常用的模型进行对比;最后,在航班延误时长预测的基础上结合SHAP模型,从总体特征和特征间的相互关系2个角度分析特征的重要程度。实验结果表明,经过遗传算法调优的XGBoost模型预测精度更高,其中MAE降低了8.94%,RMSE降低了19.85%,MAPE降低了6.15%,且其模型精度更高。因此,SHAP模型破除了XGBoost模型的黑盒特性,增强了模型的可解释性,可为降低航班延误时长提供技术支持。     

基于非线性规划与XGBoost的燃料电池汽车多目标能量管理策略

为了解决燃料电池汽车功率分配中的实时性与准确性问题,提出使用离线非线性规划+在线XGBoost算法对燃料电池汽车功率进行预测.首先搭建燃料电池混合动力汽车的动力系统模型,并且通过聚类分析获取车辆行驶的典型混合工况;其次使用非线性规划算法离线计算在该工况下燃料电池与锂电池的最优分配比例;最后XGBoost算法以非线性规划计算结果为训练数据进行模型训练验证.结果表明：所提出的算法强化了目前离线计算中对于燃料电池混合动力系统动态性能多目标优化的考虑,增强了在线机器学习训练数据的准确性,同时所提出的XGBoost算法可以加快计算速度以及避免数据的过拟合,实现对燃料电池混合动力汽车功率的精确估计.     

基于BO-XGBoost与集成学习方法的供应链金融信用评价研究

针对供应链金融领域中小企业融资的信用风险控制问题，提出了一种在Bagging算法框架下结合贝叶斯优化和XGBoost算法的集成学习模型BO-XGBoost-Bagging（BXB）。首先，基于XGBoost特征重要度进行特征筛选，建立供应链金融信用评价指标体系。其次，通过贝叶斯优化获得XGBoost的最优超参数，并结合Bagging算法得到集成模型BXB。最后，在中小企业数据集上进行预测，通过实证研究验证信用评价模型的有效性。实证结果表明，BXB模型相比其他模型具有更好的预测效果，能够更加准确、全面地对中小企业的信用风险进行评估，更好地区分风险企业和正常企业，最大程度减少违约损失，在供应链金融信用评价方面有着较高的应用价值。     

XGBoost算法在糖尿病血糖预测中的应用

糖尿病已经成为威胁人类健康的慢性病之一.实现对糖尿病的早期预测,有助于辅助医疗决策.针对糖尿病数据普遍存在的维度过高,缺失值较多等特点,为了提高预测精度,从集成学习入手,提出一种基于XGBoost算法的糖尿病预测模型.该模型以CART回归树作为基学习器,利用收集到的真实数据对模型进行训练和测试,并调整XGBoost的主要参数,最终实现了血糖值的回归预测.实验结果表明,该模型平均绝对百分比误差下降到8.57%,比本文对比的基于SVM、随机森林的预测模型精度更高,且运行速度快,稳定性强.     

基于布谷鸟搜索的XGBoost算法优化及应用研究

为提高XGBoost算法预测精度，采用布谷鸟搜索算法全局优化XGBoost的超参数包括学习率、输出结点分裂的最小损失、树模型的最大深度和弱学习器的数量，构建CS-XGBoost模型训练数据集。实验结果表明，基于CS-XGBoost的收入分类模型的准确率、精确率、F1分数和AUC等指标分别为95.67%、97.17%、95.56%和97.96%,均优于Logistic回归、支持向量机、随机森林、XGBoost算法和基于网格搜索的XGBoost算法；基于CS-XGBoost的房价预测模型的决定系数、均方根误差及平均绝对误差分别为0.905 5、2.943 5及2.165 4,预测精度较XGBoost算法得到显著提升。     

基于ARIMA-LSTM-XGBoost组合模型的铁路货运量预测

为提升铁路货运量预测精度和泛化能力,综合考虑铁路货运量时间序列数据的线性和非线性特征,提出了基于ARIMA-LSTM-XGBoost组合模型的铁路货运量预测方法。首先使用ARIMA模型对我国铁路货运量进行初步预测,再利用LSTM网络对残差进行校正,并将其与XGBoost模型结合,采用误差倒数法确定权重,构建一种加权组合模型。最后将组合模型与ARIMA、ARIMA-LSTM、LSTM、XGBoost模型进行对比,借助均方误差(MSE)、均方根误差(RMSE)、平均绝对值误差(MAE)、平均绝对百分比误差(MAPE)对上述模型的预测精度进行对比分析。使用2007年-2021年全国铁路货运量月度数据进行实验,实验结果表明：组合模型的MSE、RMSE、MAE、MAPE分别为0.011 9、0.109 4、0.068 3、1.775 2%,预测误差均低于上述对比模型,模型的预测精度和泛化能力都有所提升。     

基于XGBoost的网络安全风险评估模型研究

风险评估是一种能够分析网络的运行状况,对风险等级进行预测的主动防护手段。为了解决传统的风险评估模型主观性强、对海量数据处理效率低及分类准确度不高等问题,运用极限梯度提升树XGBoost模型,以物理环境、软硬件故障等影响网络安全运行的因素作为输入,建立评估模型对网络安全风险等级进行预测,并与随机森林及GBDT两种方法进行对比。实验结果表明,基于XGBoost的网络安全风险评估模型可以根据收集到的信息,对信息网络风险等级进行快速准确地预测,且与随机森林及GBDT两种方法相比具有更高的准确率。