基于BO-XGBoost与集成学习方法的供应链金融信用评价研究

针对供应链金融领域中小企业融资的信用风险控制问题，提出了一种在Bagging算法框架下结合贝叶斯优化和XGBoost算法的集成学习模型BO-XGBoost-Bagging（BXB）。首先，基于XGBoost特征重要度进行特征筛选，建立供应链金融信用评价指标体系。其次，通过贝叶斯优化获得XGBoost的最优超参数，并结合Bagging算法得到集成模型BXB。最后，在中小企业数据集上进行预测，通过实证研究验证信用评价模型的有效性。实证结果表明，BXB模型相比其他模型具有更好的预测效果，能够更加准确、全面地对中小企业的信用风险进行评估，更好地区分风险企业和正常企业，最大程度减少违约损失，在供应链金融信用评价方面有着较高的应用价值。     

基于XGBoost的深圳二手房价格预测

为了更加精准地预测二手房价格,该文以2019年深圳市二手房的真实交易数据为研究对象,利用线性回归模型、随机森林模型和XGBoost模型并加以POI计算来预测二手房价格.首先,对数据集进行清洗并可视化展示.其次,运用百度地图进行POI处理扩充数据集,使得数据集接近现实情况.接着,按照数据特征对房价影响的重要程度进行了排序,选取重要的特征来训练模型.最后,通过数值结果分析,XGBoost模型对二手房的房价评估效果最好,尤其是经过POI处理的数据集和XGBoost模型的这种组合,对于深圳市的二手房价格具有极好的预测效果.     

基于粒子群优化算法改进的XGBoost模型制备C4烯烃工艺条件优化

C4烯烃是生产清洁友好燃料等化工产品的重要原料，提升C4烯烃收率，增大C4烯烃产量是生产过程重要的目标之一。针对乙醇偶合制备C4烯烃这一化学反应样本数量多，特征数量少等特点，本文提出一种组合模型：粒子群算法改进的XGBoost模型。首先将XGBoost模型与数据的拟合效果作为粒子群算法的目标函数，通过粒子迭代确定XGBoost模型的最优超参数; 然后通过对变量设置一定的步长构造仿真数据。最后，将优化后的XGBoost模型与仿真数据进行拟合，拟合优度由76%提升至93%。根据预测结果确定了C4烯烃的最大收率和最佳反应条件，得到C4烯烃收率的最大值为43.52%。实验结果表明，改进后的XGBoost模型在误差和精度方面都优于原始模型。     

基于XGBoost模型的融合多特征微博信息传播预测方法

为了有效地监管网络舆情,辅助管理人员进行决策,微博信息传播预测方法的研究具有重要应用价值。针对传统微博信息传播预测方法存在指标单一、预测效果较差问题,提出一种基于XGBoost模型的融合多特征微博信息传播预测方法。首先,分析微博传播网络和用户节点特性,提取出博主特征、微博内容特征、传播特征3类特征并构建数据集;接着,基于XGBoost方法分别构建微博累计转发量预测模型和微博最大转发深度预测模型;最后,通过模型在测试数据集上的平均绝对误差验证模型的预测效果。通过与线性回归等传统的预测方法比较分析可以看出,提出的预测方法能够取得良好的预测效果。     

基于改进集成学习算法的在线空气质量预测

为了实现空气质量的在线预测,提出了一种基于XGBoost算法的改进集成学习算法OPGBoost。首先对PI(plant information)实时数据库系统进行二次开发,构成大数据挖掘与分析平台,运用数据融合工具对原始数据进行预处理,并采用Boruta算法进行特征选择,从而构造出包含更多属性特征量的有效数据集。然后对XGBoost算法中的一阶和二阶导数进行优化,并通过时间滑动窗口和衰减函数机制获取训练数据以及训练模型的权重,最后采用Bagging集成学习策略构成OPGBoost组合模型。实验结果表明,针对基于PM2.5浓度和AQI表征的空气质量预测,本文方法与4种已有算法相比在准确性和实用性方面具有明显的优势,能够较精确地预测未来1、12、24h的空气污染情况。     

航班到港延误时长预测及特征分析

为破除XGBoost模型的黑盒特性,增强模型的说服性,提出一种基于SHAP的可解释性航班到港延误时长预测模型。首先,对航班历史数据、天气数据进行融合,在融合数据的基础上进行异常值处理,并利用递归特征消除方法进行特征选择;其次,构建航班延误时长预测模型,利用遗传算法进行参数调优,并与目前常用的模型进行对比;最后,在航班延误时长预测的基础上结合SHAP模型,从总体特征和特征间的相互关系2个角度分析特征的重要程度。实验结果表明,经过遗传算法调优的XGBoost模型预测精度更高,其中MAE降低了8.94%,RMSE降低了19.85%,MAPE降低了6.15%,且其模型精度更高。因此,SHAP模型破除了XGBoost模型的黑盒特性,增强了模型的可解释性,可为降低航班延误时长提供技术支持。     

基于XGBoost与SVR变权组合模型致密油的采收率预测

致密油储层因具有渗透率与产能低下的特点,多采用大型水力压裂改造储层来提高采收率,根据不同的地质、压裂参数变化,预测改造后的采收率对于压裂施工改造有良好的指导作用。目前多因素影响的致密油压裂后采收率预测理论模型,难以实时准确地根据压裂方式及参数来预测压裂后油藏采收率变化。为进一步提升致密油的采收率预测精确度,本文引进机器学习进行预测,基于极限梯度爬升算法（XGBoost）和支持向量回归算法（SVR）进行了一定改进得到变权组合模型XGBoost-SVR,模型借鉴残差进化机制,实现加权融合系数的最优组合,该组合模型可对两种单模型进行优势互补,避免了因单一模型参数导致的范围性误差,增大模型预测容错率。本文首先对致密油的采收率影响因素进行收集整理,分析地质因素、储层因素和工程因素对采收率的影响,构造相关原始数据集;其次将预处理后数据集输入SVR单模型和XGBoost单模型分别进行训练,得出单模型预测值;最后采用基于残差的自适应的变权组合方法建立XGBoost-SVR组合模型,得到各模型最终预测结果,明确采收率影响因素及各影响因素权重比。模型预测结果表明：与SVR和XGBoost单模型相比,组合模型在预测精度达到94.63%,表现出更好的适应性。     

基于XGBoost算法的电商用户重复购买行为预测

机器学习算法广泛应用于电商用户行为数据分析及商业预测.其中，XGBoost算法作为一种常用的有监督机器学习算法，能够实现电商用户行为特征最优选择与行为模型构建、评估消费价值、预测重复购买行为概率、提高商业决策的精准性与可行性.本研究采用阿里云天池大数据竞赛“天猫复购预测”所提供的“双十一”电商购物节关联数据集中约42万电商平台用户产生的5 500万条行为数据，基于促销活动情境完成特征构造，实现有监督分类学习.本研究实现了XGBoost算法的参数优化与数据特征值处理过程优化，完成了促销活动后6个月内电商用户重复购买行为的预测模型演算.结果表明：优化后的XGBoost算法能够比较精准地预测电商用户重复购买行为、评估在线用户潜在购买价值、实现精准营销以及真正促进促销活动的长期投资回报率提高.     

基于多模型融合的互联网信贷个人信用评估方法

针对网络个人信用有效评分缺失的问题,分析了互联网信贷个人信用评估数据的特点,选用支持向量机、随机森林和XGBoost分别建立了信用预测模型,并对3种单一模型进行了投票加权融合. 基于互联网信贷数据的特点,在特征工程中对样本集特征进行了离散化、归一化和特征组合等处理. 为增加对比,对实验数据集进行了FICO评估核心Logistic回归分析. 实验结果表明:3种单一算法性能均优于Logistic回归,XGBoost表现优于支持向量机和随机森林模型,预测相对准确;投票融合模型的表现比单一模型更好,模型分辨能力更优秀,预测精度更高,更适用于互联网信贷个人信用评估.     

基于XGBoost的短时交通流预测模型

为提高路段短时交通流的预测精度,选取路段平均旅行时间作为预测指标,建立了一种基于极端样度上升(extrem gradient boosting,XGBoost)的短时交通流预测模型。首先通过对交通流数据的分析,在考虑交通流时空特性的基础上,分别构建目标路段时间序列训练集、测试集以及时空序列训练集、测试集,然后基于XGBoost模型以及构建的训练样本集建立时间序列预测模型以及时空序列预测模型,并利用训练好的模型进行预测,最后将模型预测结果与线性回归模型、神经网络模型预测结果进行比较。实验结果表明:基于XGBoost的短时交通流预测模型能够对路段未来时段平均旅行时间进行比较准确的预测,其中时间序列预测模型均方根误差为5. 32,时空序列预测模型均方根误差为4. 82,均低于线性回归模型和神经网络模型,且相比于仅考虑时间因素的短时交通流预测模型,同时考虑时空因素的预测模型得到的误差更低,预测效果更好。     

广域级电网在运智能电能表的烧损故障关联分析和预测方法

针对智能电能表在运行过程中出现烧损的现象，在对各类因素进行关联分析后， 提出了一种基于XGBoost算法的智能电能表烧损预测方法，以某省份2019—2020年的数据为例进行了测试验证. 采用该方法结合电能表基本信息数据、运行数据和环境数据进行烧损识别，并与K最邻近法（K-NearestNeighbor，KNN）、朴素贝叶斯和支持向量机等传统机器学习算法进行对比. 结果表明，基于极限梯度提升算法（eXtreme Gradient Boosting， XGBoost）的算法精度达到91%，召回率达到66%，综合指标F1达到76.51%，远高于传统算法. 算法模型在进行系统部署的过程中，运用长短期记忆算法（Long Short Term Memory， LSTM）对部分缺失值进行了填充，经试点验证，该模型可较为准确地预测低压台区电能表烧损现象.     

基于小波分析和集成学习的短时交通流预测

针对短时交通流具有随机性和不确定性等特征,提出一种基于小波分析和集成学习的组合预测模型.首先,对原始交通流数据的平均行程时间序列应用Mallat算法进行多尺度小波分解,且对各尺度上分量进行单支重构;其次,对于各重构的单支序列分别使用极端梯度提升模型(extreme gradient boosting,XGBoost)进...     

BP神经网络预测混凝土抗渗性能的研究

综合考虑了双掺矿物、掺合料混凝土抗渗性能的各种影响因素，选取了双掺矿粉、粉煤灰混凝土配料中7个主要因素作为输入量，混凝土28d抗渗系数为输出量，建立了混凝土抗渗性能预测的BP网络模型，进而对双掺矿粉、粉煤灰混凝土配合比抗渗性能试验数据进行分析．结果表明此模型的可靠度高，可用于混凝土渗透性的虚拟化设计．     

基于改进XGBoost的地震多属性地质构造识别方法

地震属性可以用来解释与预测地质构造,因此地震属性被广泛地运用在煤矿地质构造的识别。但一般情况下,勘探区中无构造区域与有构造区域分布不均衡,无构造区域远远多于有构造区域。机器学习中,传统的分类器更习惯于偏向多数类,这使得如何有效地识别出构造体成为一个难题。为了解决这一问题,提出了一种针对不平衡数据集的改进极限梯度提升(extreme gradient boosting, XGBoost)构造识别方法。该方法的原理是,首先,以基于三维地震勘探成果数据体提取的12种地震属性为数据集特征,以实际揭露后的地质构造为数据集标签构建多属性数据集,然后以特征对标签的相关性为标准,过滤掉冗余的特征;其次,将边界样本分类算法(boundary sample classification, BSC)与合成少数类过采样技术(synthetic minority over-sampling technique, SMOTE)相结合形成BSC-SMOTE算法。用BSC-SMOTE算法对原始数据集进行平衡,再利用平衡后的数据集训练XGBoost分类器,并用贝叶斯优化(Bayesian optimization, B...     

基于多机器学习模型的逐小时PM2.5浓度预测对比

【目的】比较分析XGBoost模型、LightGBM模型、随机森林模型(RF)、K最近邻模型(KNN)、长短期记忆神经网络(LSTM)、决策树模型(DT)共6个PM_2.5浓度预测模型,以准确、及时预测环境PM_2.5浓度。【方法】基于重庆市合川区2020年全年空气质量监测数据和气象数据,通过最大相关最小冗余算法(MRMR)进行数据降维选择最优特征子集,作为模型的输入,逐一进行PM_2.5浓度预测;考虑到不同季节PM_2.5浓度差异较大,故分季节预测了PM_2.5浓度;为了探究各模型预测性能,计算了各模型运行时间和内存占用,并基于PM_2.5与特征变量的相关性和特征变量的重要性探讨了模型预测性能季节性差异原因。【结果】模型总体预测精度从高到低排序为 XGBoost、RF、LightGBM、LSTM、KNN、DT模型;预测性能方面,6个模型均表现为秋冬季节预测精度高于春夏季节;LightGBM模型可在保证模型精度的情况下,大幅减少模型训练时间和内存占用;特征重要性显示PM₁₀浓度、气温和气压的重要性高,O₃浓度、风向和NO₂浓度重要性相对较弱。【结论】采取MRMR方法进行数据降维选取的最优特征子集能较好地预测PM_2.5浓度;相比较而言,XGBoost、RF、LightGBM、LSTM模型在PM_2.5浓度预测上具有较优性能,其中综合性能较好的为LightGBM模型。     

三种机器学习模型在太湖藻华面积预测中的应用

基于2014—2018年太湖气象水文水质数据与卫星遥感数据,分别采用支持向量机(SVM)、长短记忆神经网络(LSTM)、极端梯度提升树(XGBoost)模型模拟全太湖、贡湖、南部沿岸区、中西北湖区的蓝藻水华(简称藻华)面积。结果表明:(a)XGBoost全太湖与分区藻华面积回归模型模拟效果较好,其次是SVM、LSTM回归模型;不同时间尺度下SVM、XGBoost回归模型对全太湖藻华面积模拟结果偏小,但有效模拟了藻华的发展趋势。(b)XGBoost分类模型在全太湖、中西北湖区模拟准确率较高,优于SVM、LSTM分类模型;在贡湖、南部沿岸区,3种分类模型准确率均较高。(c)以当天、提前1 d的气象水文水质因子作为全太湖与分区藻华面积模型输入,XGBoost回归与分类模型模拟精度较高、稳健性较好,预测应用情景较好。     

基于机器学习算法的输电线路工程投资预测

技术方案深度的不足导致依据定额概预算来确定输电线路工程投资的方法准确性低、工作量大,因此,研究基于机器学习的投资预测模型需求迫切。针对输电线路投资的高维数、非线性等特点,提出了基于XGBoost算法的输电线路工程投资预测方法。通过采用实际输电线路工程数据对模型进行训练和测试,预测结果显示XGBoost模型在预测精度、结果偏差方面相较于神经网络和支持向量机模型（SVM）都具有较大的优势,且能输出指标重要性排序,能为决策者提供有效的投资额和控制指标参考,模型的可靠性和可解释性较高。