融合矩阵分解和XGBoost的个性化推荐算法

针对传统的协同过滤推荐算法中评分矩阵过于稀疏和算法准确度不高的问题,提出一种融合矩阵分解和XGBoost算法的推荐算法(MFXGB,Matrix Factorization XGBoost),其特点是利用SVD++算法(SVD,Singular Value Decomposition)对用户项目评分矩阵进行填充,避免过多的缺失值对算法精确度的影响,再利用XGBoost(eXtreme Gradient Boosting)算法训练有监督的模型用于预测用户评分.为了克服计算成本过高的困难,提出利用K-均值聚类方法进行特征提取用于训练XGBoost模型.将MFXGB算法应用于MovieLens数据集进行实验分析,结果显示,MFXGB算法的推荐精确度比传统的3种方法分别提高了8.91％、10.18％和11.79％,效果明显优于传统的推荐算法.     

基于XGBoost的新零售优惠券使用行为预测

为实现新零售优惠券的定向投放,提出了对用户优惠券使用行为预测的模型.该文采用XGBoost算法,突破了以TAM模型(技术接受模型)为基础解释个人优惠券使用意愿的传统方法,并基于口碑网的真实交易数据进行了特征提取和用户使用行为建模.在K折交叉验证之后通过变量重要性评分,确定了对消费者使用决策贡献度较高的特征,并与随机森林和GBDT(梯度提升决策树)算法进行了AUC(Area under curve)准确率的对比.该研究证明了基于XGBoost的集成学习算法在优惠券使用行为预测中的有效性,对新零售精准营销有重要的现实意义.     

基于布谷鸟搜索的XGBoost算法优化及应用研究

为提高XGBoost算法预测精度，采用布谷鸟搜索算法全局优化XGBoost的超参数包括学习率、输出结点分裂的最小损失、树模型的最大深度和弱学习器的数量，构建CS-XGBoost模型训练数据集。实验结果表明，基于CS-XGBoost的收入分类模型的准确率、精确率、F1分数和AUC等指标分别为95.67%、97.17%、95.56%和97.96%,均优于Logistic回归、支持向量机、随机森林、XGBoost算法和基于网格搜索的XGBoost算法；基于CS-XGBoost的房价预测模型的决定系数、均方根误差及平均绝对误差分别为0.905 5、2.943 5及2.165 4,预测精度较XGBoost算法得到显著提升。     

基于XGBoost的乳腺癌预测模型

针对现有乳腺癌预测模型虽然准确率较高,但是存在过拟合现象且在用于计算机辅助诊断(Computer Aided Diagnosis,CAD)过程中不能很好的降低漏诊率和误诊率的问题,提出了一种基于XGBoost算法构建的乳腺癌预测模型。在实验中采用细针穿刺细胞病理学检查所获得的检验数据进行实验并对比基于XGBoost的乳腺癌预测模型与已有预测模型的预测准确率,结果显示,基于XGBoost算法的乳腺癌预测模型预测准确率达到了97.86%,ROC曲线下方面积(AUC)的大小达到了99.59%,该模型的准确率优于已有乳腺癌预测模型的准确率,且获得了较高的AUC值,通过基于XGBoost的乳腺癌预测模型可以进一步优化乳腺癌的诊断技术。     

基于XGBoost算法的电商用户重复购买行为预测

机器学习算法广泛应用于电商用户行为数据分析及商业预测.其中，XGBoost算法作为一种常用的有监督机器学习算法，能够实现电商用户行为特征最优选择与行为模型构建、评估消费价值、预测重复购买行为概率、提高商业决策的精准性与可行性.本研究采用阿里云天池大数据竞赛“天猫复购预测”所提供的“双十一”电商购物节关联数据集中约42万电商平台用户产生的5 500万条行为数据，基于促销活动情境完成特征构造，实现有监督分类学习.本研究实现了XGBoost算法的参数优化与数据特征值处理过程优化，完成了促销活动后6个月内电商用户重复购买行为的预测模型演算.结果表明：优化后的XGBoost算法能够比较精准地预测电商用户重复购买行为、评估在线用户潜在购买价值、实现精准营销以及真正促进促销活动的长期投资回报率提高.     

基于小波分析和集成学习的短时交通流预测

针对短时交通流具有随机性和不确定性等特征,本文提出一种基于小波分析和集成学习的组合预测模型。首先对原始交通流数据的平均行程时间序列应用Mallat算法进行多尺度小波分解,且对各尺度上分量进行单支重构;然后对于各重构的单支序列分别使用极端梯度提升模型（extreme gradient boosting, XGBoost）进行预测得到多个子模型,同时利用贝叶斯优化算法进行子模型的最佳参数选择;最后把所有子模型的预测值代数求和,得到总体交通流的预测结果。采用美国纽约布鲁克林地区某路段实际交通流数据进行预测,并对预测结果与其他模型进行比较分析。研究结果表明：小波分析和XGBoost组合模型预测效果优于传统线性模型及单一XGBoost模型,从而更好地为交通管理提供指导意见。     

空心钉内固定治疗老年股骨颈骨折的疗效观察

评价老年股骨颈骨折空心钉内固定预后的影响因素,内固定治疗老年股骨颈骨折的可行性。回顾性分析空心钉内固定治疗老年股骨颈骨折73例,年龄60~89岁,平均70.8岁,无移位骨折(Garden I型、Ⅱ型)45例;移位骨折(GardenⅢ型、Ⅳ型)28例,随访时间:12~58个月,平均31.4个月。观察内容包括受伤至手术的时间,移位程度,术后早期负重及与术后髋关节功能Harris评分。73例患者术后髋关节功能Harris评分优良率占73.97%。无移位股骨颈骨折,骨折不愈合及股骨头缺血坏死发生率为0.00%,移位骨折,不愈合及股骨头缺血坏死分别占10.71%和17.86%。如能术前掌握好适应证,术后给予正确的康复指导,老年人股骨颈骨折内固定治疗大多数效果良好。     

基于多模型融合的互联网信贷个人信用评估方法

针对网络个人信用有效评分缺失的问题,分析了互联网信贷个人信用评估数据的特点,选用支持向量机、随机森林和XGBoost分别建立了信用预测模型,并对3种单一模型进行了投票加权融合. 基于互联网信贷数据的特点,在特征工程中对样本集特征进行了离散化、归一化和特征组合等处理. 为增加对比,对实验数据集进行了FICO评估核心Logistic回归分析. 实验结果表明:3种单一算法性能均优于Logistic回归,XGBoost表现优于支持向量机和随机森林模型,预测相对准确;投票融合模型的表现比单一模型更好,模型分辨能力更优秀,预测精度更高,更适用于互联网信贷个人信用评估.     

基于BO-XGBoost与集成学习方法的供应链金融信用评价研究

针对供应链金融领域中小企业融资的信用风险控制问题，提出了一种在Bagging算法框架下结合贝叶斯优化和XGBoost算法的集成学习模型BO-XGBoost-Bagging（BXB）。首先，基于XGBoost特征重要度进行特征筛选，建立供应链金融信用评价指标体系。其次，通过贝叶斯优化获得XGBoost的最优超参数，并结合Bagging算法得到集成模型BXB。最后，在中小企业数据集上进行预测，通过实证研究验证信用评价模型的有效性。实证结果表明，BXB模型相比其他模型具有更好的预测效果，能够更加准确、全面地对中小企业的信用风险进行评估，更好地区分风险企业和正常企业，最大程度减少违约损失，在供应链金融信用评价方面有着较高的应用价值。     

基于非线性规划与XGBoost的燃料电池汽车多目标能量管理策略

为了解决燃料电池汽车功率分配中的实时性与准确性问题,提出使用离线非线性规划+在线XGBoost算法对燃料电池汽车功率进行预测.首先搭建燃料电池混合动力汽车的动力系统模型,并且通过聚类分析获取车辆行驶的典型混合工况;其次使用非线性规划算法离线计算在该工况下燃料电池与锂电池的最优分配比例;最后XGBoost算法以非线性规划计算结果为训练数据进行模型训练验证.结果表明：所提出的算法强化了目前离线计算中对于燃料电池混合动力系统动态性能多目标优化的考虑,增强了在线机器学习训练数据的准确性,同时所提出的XGBoost算法可以加快计算速度以及避免数据的过拟合,实现对燃料电池混合动力汽车功率的精确估计.     

改进粒子群优化XGBoost模型的高速公路服务区交通量预测

为了科学有效地评估高速公路服务区交通通行服务能力和进行基础设施优化配置,提出一种基于改进粒子群算法(Improved Particle Swarm Optimization,IPSO)和XGBoost融合的高速公路服务区交通量预测模型.首先对粒子群算法的拓扑关系结构进行改进,将粒子群划分为主粒子和从粒子,获得多个改进粒子组,并给出改进后主从粒子速度和位置的更新方法;其次利用线性递增和递减函数对粒子的迭代寻优速度进行自适应调整;最后在模型训练过程中,引入交通量调查数据这一重要特征,并利用IPSO算法对XGBoost模型的主要超参数进行优化选择,建立了交通量调查数据和服务区各交通量之间的IPSO_XGBoost预测模型.结果表明:提出的改进粒子群算法具有更强的参数寻优能力,迭代收敛速度更快,能够搜索出XGBoost模型的理想超参数,实现对服务区交通量的有效预测.同时,提出模型的预测性能明显优于LSTM、XGBoost、CNN-LSTM和PSO_XGBoost,对小型车、大型车、货车、车当量和人当量数据的预测精度分别达到了0.913、0.815、0.872、0.931和0.924.     

基于改进集成学习算法的在线空气质量预测

为了实现空气质量的在线预测,提出了一种基于XGBoost算法的改进集成学习算法OPGBoost。首先对PI(plant information)实时数据库系统进行二次开发,构成大数据挖掘与分析平台,运用数据融合工具对原始数据进行预处理,并采用Boruta算法进行特征选择,从而构造出包含更多属性特征量的有效数据集。然后对XGBoost算法中的一阶和二阶导数进行优化,并通过时间滑动窗口和衰减函数机制获取训练数据以及训练模型的权重,最后采用Bagging集成学习策略构成OPGBoost组合模型。实验结果表明,针对基于PM2.5浓度和AQI表征的空气质量预测,本文方法与4种已有算法相比在准确性和实用性方面具有明显的优势,能够较精确地预测未来1、12、24h的空气污染情况。     

基于小波包分解的GJO-XGBoost水面蒸发量预测

为提高水面蒸发量预测精度,提出一种基于小波包变换(WPT)、金豺优化(GJO)算法和极端梯度提升(XGBoost)算法相融合的水面蒸发量时间序列预测模型,通过云南省龙潭站、董湖站、西洋站1991—2021年逐月水面蒸发量时序数据对模型进行检验.首先介绍GJO原理,在不同维度条件下选取4个标准函数对GJO进行仿真测试,并与粒子群优化(PSO)算法的仿真结果作对比.其次采用小波包变换(WPT)对逐月水面蒸发量时序数据进行分解处理,构建XGBoost算法输入输出向量.最后引入GJO算法对XGBoost超参数进行调优,建立WPT-GJO-XGBoost模型对各子序列分量进行预测和重构,并构建WPT-PSO-XGBoost、WPT-GJO-SVM、WPT-PSO-SVM、WPT-XGBoost作对比分析模型.结果表明：在不同维条件下GJO算法寻优精度优于PSO算法.WPT-GJO-XGBoost模型对龙潭站、董湖站、西洋站水面蒸发量预测的平均绝对百分比误差分别为5.491%、4.943%、5.024%,平均绝对误差分别为4.70、3.37、3.39 mm,预测精度优于WPT-PSO-XGBoos...     

基于网格搜索优化的XGBoost模型的股票预测

本文提出了一种改进的XGBoost股票预测模型GC-XGBoost,并将该模型运用到股票市场进行股票价格短期预测。实验结果表明GC-XGBoost模型在MSE,MAE,R2三个评价指标上优于没有进行参数优化的XGBoost模型,说明GC-XGBoost模型比XGBoost模型提高了预测能力。     

基于XGBoost的列控车载设备故障预测方法

列控车载设备的健康管理和故障预测是实现高速铁路关键装备智能化视情维护的重要途径.为了克服列控车载设备故障建模的复杂性和健康监测手段受限等问题,充分运用现场收集的设备运行记录数据,提出一种基于数据驱动的列控车载设备故障预测体系框架.建立了高速列车列控车载设备运行数据管理平台,基于大量历史现场数据构建训练及测试样本集,运用极端梯度提升(eXtreme Gradient Boosting,XGBoost)算法实施特定故障类型的模型训练与学习,并将所得故障模型用于故障概率的预测分析.以CTCS2-200H型列控车载设备为对象,运用实际数据对所提出的故障建模方法进行了验证,对不同建模样本规模、故障类型维度下的模型性能以及不同建模算法性能进行了对比.结果表明:基于XGBoost算法的建模方法能够有效揭示各特征量与故障之间的关联,所采用树的深度值越高,迭代收敛速度越快;相较于GBDT、RF算法,基于XGBoost的建模方法能够实现更高的预测正确率,在给定样本条件下达到稳定正确率所需训练时间分别减少了78.55％、12.47％,验证了该方法在大规模数据条件下的适用性和性能优势.     

广域级电网在运智能电能表的烧损故障关联分析和预测方法

针对智能电能表在运行过程中出现烧损的现象，在对各类因素进行关联分析后， 提出了一种基于XGBoost算法的智能电能表烧损预测方法，以某省份2019—2020年的数据为例进行了测试验证. 采用该方法结合电能表基本信息数据、运行数据和环境数据进行烧损识别，并与K最邻近法（K-NearestNeighbor，KNN）、朴素贝叶斯和支持向量机等传统机器学习算法进行对比. 结果表明，基于极限梯度提升算法（eXtreme Gradient Boosting， XGBoost）的算法精度达到91%，召回率达到66%，综合指标F1达到76.51%，远高于传统算法. 算法模型在进行系统部署的过程中，运用长短期记忆算法（Long Short Term Memory， LSTM）对部分缺失值进行了填充，经试点验证，该模型可较为准确地预测低压台区电能表烧损现象.     

基于Lightgbm和XGBoost的优化深度森林算法

教育规模不断扩大，高校在校生人数持续上升，导致学生的能力参差不齐.为了提升教育水平，教师需掌握学生在校期间的学习状态，预测学生期末成绩是教师掌握学生学习状态的重要途径之一.目前的研究工作主要采用传统的机器学习算法进行成绩预测，如随机森林、贝叶斯、深度森林等，但精度不高；也有利用深度学习算法进行预测，但模型缺少可解释性. Lightgbm(Light Gradient Boosting Machine)算法内存消耗低，时间复杂度低，而XGBoost(eXtreme Gradient Boosting)算法精度高.因此，基于提高精度与降低模型内存消耗的策略，将深度森林中的随机森林与极限随机森林模块分别替换为Lightgbm和XGbBoost，提出一种基于Lightgbm和XGBoost算法的优化深度森林算法LIGHT-XDF.在八个数据集上与其他模型进行对比实验，结果表明，LIGHT-XDF算法的综合性能最好.     

老年股骨颈骨折患者行髋关节置换术后静脉血栓栓塞症预测模型的构建

目的 分析老年股骨颈骨折患者行全髋(HTA)或半髋关节置换术(HA)后新发静脉血栓栓塞症(VTE)的危险因素,建立老年股骨颈骨折行髋关节置换后VTE风险的预测模型,并分析其预测效能.方法 选取老年股骨颈骨折后行髋关节置换术患者101例为研究对象,其中,术后新发VTE的25例患者为VTE组,76例术后无VTE的患者为对照组.首先通过单因素分析髋关节置换术后发生VTE的相关因素,并将具有统计学意义(P<0.05)的指标纳入多因素Logistic回归模型分析,筛选出影响患者髋关节置换术后发生VTE的危险因素,建立风险预测模型.然后通过应用受试者工作特征(Receiver Operating Characteristic,ROC)曲线分析其预测效能,最后应用Hosmer-Lemeshow评价其预测效能.结果 纳入分析的101例患者中,25例(24.8％)患者为新发VTE病例,回归分析结果显示:糖尿病、应用骨水泥、Caprini评分是老年患者髋关节置换术后新发VTE的独立危险因素(P<0.05),行主、被动功能锻炼是老年患者髋关节置换术后新发VTE的保护因素(P<0.05),基于以上4个指标构建的预测模型曲线下面积(Area Under Curve,AUC)为0.970,约登指数最大值为0.868,此时该模型灵敏度为96.0％,特异度为90.8％,截断值为-0.8635.Hosmer-Lemeshow检验结果显示:模型的预测效能为91.09％,模型拟合良好.结论 建立的风险预测模型对VTE风险预测效果良好,有助于骨科医师预测老年股骨颈骨折患者行髋关节置换术后新发VTE的高风险人群.     

基于机器学习算法的输电线路工程投资预测

技术方案深度的不足导致依据定额概预算来确定输电线路工程投资的方法准确性低、工作量大,因此,研究基于机器学习的投资预测模型需求迫切。针对输电线路投资的高维数、非线性等特点,提出了基于XGBoost算法的输电线路工程投资预测方法。通过采用实际输电线路工程数据对模型进行训练和测试,预测结果显示XGBoost模型在预测精度、结果偏差方面相较于神经网络和支持向量机模型（SVM）都具有较大的优势,且能输出指标重要性排序,能为决策者提供有效的投资额和控制指标参考,模型的可靠性和可解释性较高。     

基于粒子群优化算法改进的XGBoost模型制备C4烯烃工艺条件优化

C4烯烃是生产清洁友好燃料等化工产品的重要原料，提升C4烯烃收率，增大C4烯烃产量是生产过程重要的目标之一。针对乙醇偶合制备C4烯烃这一化学反应样本数量多，特征数量少等特点，本文提出一种组合模型：粒子群算法改进的XGBoost模型。首先将XGBoost模型与数据的拟合效果作为粒子群算法的目标函数，通过粒子迭代确定XGBoost模型的最优超参数; 然后通过对变量设置一定的步长构造仿真数据。最后，将优化后的XGBoost模型与仿真数据进行拟合，拟合优度由76%提升至93%。根据预测结果确定了C4烯烃的最大收率和最佳反应条件，得到C4烯烃收率的最大值为43.52%。实验结果表明，改进后的XGBoost模型在误差和精度方面都优于原始模型。