基于小波分析和集成学习的短时交通流预测

针对短时交通流具有随机性和不确定性等特征,本文提出一种基于小波分析和集成学习的组合预测模型。首先对原始交通流数据的平均行程时间序列应用Mallat算法进行多尺度小波分解,且对各尺度上分量进行单支重构;然后对于各重构的单支序列分别使用极端梯度提升模型（extreme gradient boosting, XGBoost）进行预测得到多个子模型,同时利用贝叶斯优化算法进行子模型的最佳参数选择;最后把所有子模型的预测值代数求和,得到总体交通流的预测结果。采用美国纽约布鲁克林地区某路段实际交通流数据进行预测,并对预测结果与其他模型进行比较分析。研究结果表明：小波分析和XGBoost组合模型预测效果优于传统线性模型及单一XGBoost模型,从而更好地为交通管理提供指导意见。     

基于BO-XGBoost与集成学习方法的供应链金融信用评价研究

针对供应链金融领域中小企业融资的信用风险控制问题，提出了一种在Bagging算法框架下结合贝叶斯优化和XGBoost算法的集成学习模型BO-XGBoost-Bagging（BXB）。首先，基于XGBoost特征重要度进行特征筛选，建立供应链金融信用评价指标体系。其次，通过贝叶斯优化获得XGBoost的最优超参数，并结合Bagging算法得到集成模型BXB。最后，在中小企业数据集上进行预测，通过实证研究验证信用评价模型的有效性。实证结果表明，BXB模型相比其他模型具有更好的预测效果，能够更加准确、全面地对中小企业的信用风险进行评估，更好地区分风险企业和正常企业，最大程度减少违约损失，在供应链金融信用评价方面有着较高的应用价值。     

基于XGBoost的列控车载设备故障预测方法

列控车载设备的健康管理和故障预测是实现高速铁路关键装备智能化视情维护的重要途径.为了克服列控车载设备故障建模的复杂性和健康监测手段受限等问题,充分运用现场收集的设备运行记录数据,提出一种基于数据驱动的列控车载设备故障预测体系框架.建立了高速列车列控车载设备运行数据管理平台,基于大量历史现场数据构建训练及测试样本集,运用极端梯度提升(eXtreme Gradient Boosting,XGBoost)算法实施特定故障类型的模型训练与学习,并将所得故障模型用于故障概率的预测分析.以CTCS2-200H型列控车载设备为对象,运用实际数据对所提出的故障建模方法进行了验证,对不同建模样本规模、故障类型维度下的模型性能以及不同建模算法性能进行了对比.结果表明:基于XGBoost算法的建模方法能够有效揭示各特征量与故障之间的关联,所采用树的深度值越高,迭代收敛速度越快;相较于GBDT、RF算法,基于XGBoost的建模方法能够实现更高的预测正确率,在给定样本条件下达到稳定正确率所需训练时间分别减少了78.55％、12.47％,验证了该方法在大规模数据条件下的适用性和性能优势.     

基于集成学习的用户信用卡违约预测模型研究

用户信用卡违约预测任务有助于银行等金融机构平衡经济风险与经济利益,对于银行信用卡业务的风险管控具有重要作用。针对用户信用卡违约预测问题,提出了一种基于集成学习的预测模型,有异于传统集成学习中的弱学习器。该模型采用集成模型和神经网络模型作为基学习器,从而提升模型整体的预测效果。首先通过预处理提取用户信用卡数据集的相关特征,然后分别采用优化后的决策树、随机森林、GBDT、XGBoost、CatBoost和SPE六种机器学习模型与神经网络模型进行并行训练和预测,最后通过加权软投票法集成基学习器结果并输出最终预测结果。结果表明,相对于基学习器,该模型在各项评估指标上均有所提升,且拥有更好的模型泛化能力。     

基于XGBoost的新零售优惠券使用行为预测

为实现新零售优惠券的定向投放,提出了对用户优惠券使用行为预测的模型.该文采用XGBoost算法,突破了以TAM模型(技术接受模型)为基础解释个人优惠券使用意愿的传统方法,并基于口碑网的真实交易数据进行了特征提取和用户使用行为建模.在K折交叉验证之后通过变量重要性评分,确定了对消费者使用决策贡献度较高的特征,并与随机森林和GBDT(梯度提升决策树)算法进行了AUC(Area under curve)准确率的对比.该研究证明了基于XGBoost的集成学习算法在优惠券使用行为预测中的有效性,对新零售精准营销有重要的现实意义.     

XGBoost算法在糖尿病血糖预测中的应用

糖尿病已经成为威胁人类健康的慢性病之一.实现对糖尿病的早期预测,有助于辅助医疗决策.针对糖尿病数据普遍存在的维度过高,缺失值较多等特点,为了提高预测精度,从集成学习入手,提出一种基于XGBoost算法的糖尿病预测模型.该模型以CART回归树作为基学习器,利用收集到的真实数据对模型进行训练和测试,并调整XGBoost的主要参数,最终实现了血糖值的回归预测.实验结果表明,该模型平均绝对百分比误差下降到8.57%,比本文对比的基于SVM、随机森林的预测模型精度更高,且运行速度快,稳定性强.     

基于XGBoost-神经网络的建筑负荷预测模型构建

针对建筑负荷预测模型特征选择工作量大、泛化能力提升难的问题，提出一种基于XGBoost-神经网络的建筑负荷特征筛选及预测方法，利用XGBoost算法训练滤波处理后的数据，基于平均绝对误差百分比MAPE确定最优特征子集，以改善模型精度和泛化能力；采用贝叶斯正则化算法训练前馈神经网络，以便能够在训练优化过程中降低网络结构复杂性，从而避免网络过拟合，进一步提升其泛化能力。针对某商业建筑的负荷预测实验结果表明，特征筛选后较筛选前模型MSE降低43.29%，有效提高了模型预测精度；分别以贝叶斯正则化和L-M算法对神经网络进行训练，前者5次试验RMSE和MAPE平均值较后者分别降低87.08%、85.33%，预测模型泛化能力得到有效提升。     

改进粒子群优化XGBoost模型的高速公路服务区交通量预测

为了科学有效地评估高速公路服务区交通通行服务能力和进行基础设施优化配置,提出一种基于改进粒子群算法(Improved Particle Swarm Optimization,IPSO)和XGBoost融合的高速公路服务区交通量预测模型.首先对粒子群算法的拓扑关系结构进行改进,将粒子群划分为主粒子和从粒子,获得多个改进粒子组,并给出改进后主从粒子速度和位置的更新方法;其次利用线性递增和递减函数对粒子的迭代寻优速度进行自适应调整;最后在模型训练过程中,引入交通量调查数据这一重要特征,并利用IPSO算法对XGBoost模型的主要超参数进行优化选择,建立了交通量调查数据和服务区各交通量之间的IPSO_XGBoost预测模型.结果表明:提出的改进粒子群算法具有更强的参数寻优能力,迭代收敛速度更快,能够搜索出XGBoost模型的理想超参数,实现对服务区交通量的有效预测.同时,提出模型的预测性能明显优于LSTM、XGBoost、CNN-LSTM和PSO_XGBoost,对小型车、大型车、货车、车当量和人当量数据的预测精度分别达到了0.913、0.815、0.872、0.931和0.924.     

基于布谷鸟搜索的XGBoost算法优化及应用研究

为提高XGBoost算法预测精度，采用布谷鸟搜索算法全局优化XGBoost的超参数包括学习率、输出结点分裂的最小损失、树模型的最大深度和弱学习器的数量，构建CS-XGBoost模型训练数据集。实验结果表明，基于CS-XGBoost的收入分类模型的准确率、精确率、F1分数和AUC等指标分别为95.67%、97.17%、95.56%和97.96%,均优于Logistic回归、支持向量机、随机森林、XGBoost算法和基于网格搜索的XGBoost算法；基于CS-XGBoost的房价预测模型的决定系数、均方根误差及平均绝对误差分别为0.905 5、2.943 5及2.165 4,预测精度较XGBoost算法得到显著提升。     

基于多机器学习模型的逐小时PM2.5浓度预测对比

【目的】比较分析XGBoost模型、LightGBM模型、随机森林模型(RF)、K最近邻模型(KNN)、长短期记忆神经网络(LSTM)、决策树模型(DT)共6个PM_2.5浓度预测模型,以准确、及时预测环境PM_2.5浓度。【方法】基于重庆市合川区2020年全年空气质量监测数据和气象数据,通过最大相关最小冗余算法(MRMR)进行数据降维选择最优特征子集,作为模型的输入,逐一进行PM_2.5浓度预测;考虑到不同季节PM_2.5浓度差异较大,故分季节预测了PM_2.5浓度;为了探究各模型预测性能,计算了各模型运行时间和内存占用,并基于PM_2.5与特征变量的相关性和特征变量的重要性探讨了模型预测性能季节性差异原因。【结果】模型总体预测精度从高到低排序为 XGBoost、RF、LightGBM、LSTM、KNN、DT模型;预测性能方面,6个模型均表现为秋冬季节预测精度高于春夏季节;LightGBM模型可在保证模型精度的情况下,大幅减少模型训练时间和内存占用;特征重要性显示PM₁₀浓度、气温和气压的重要性高,O₃浓度、风向和NO₂浓度重要性相对较弱。【结论】采取MRMR方法进行数据降维选取的最优特征子集能较好地预测PM_2.5浓度;相比较而言,XGBoost、RF、LightGBM、LSTM模型在PM_2.5浓度预测上具有较优性能,其中综合性能较好的为LightGBM模型。