广域级电网在运智能电能表的烧损故障关联分析和预测方法

针对智能电能表在运行过程中出现烧损的现象，在对各类因素进行关联分析后， 提出了一种基于XGBoost算法的智能电能表烧损预测方法，以某省份2019—2020年的数据为例进行了测试验证. 采用该方法结合电能表基本信息数据、运行数据和环境数据进行烧损识别，并与K最邻近法（K-NearestNeighbor，KNN）、朴素贝叶斯和支持向量机等传统机器学习算法进行对比. 结果表明，基于极限梯度提升算法（eXtreme Gradient Boosting， XGBoost）的算法精度达到91%，召回率达到66%，综合指标F1达到76.51%，远高于传统算法. 算法模型在进行系统部署的过程中，运用长短期记忆算法（Long Short Term Memory， LSTM）对部分缺失值进行了填充，经试点验证，该模型可较为准确地预测低压台区电能表烧损现象.     

基于布谷鸟搜索的XGBoost算法优化及应用研究

为提高XGBoost算法预测精度，采用布谷鸟搜索算法全局优化XGBoost的超参数包括学习率、输出结点分裂的最小损失、树模型的最大深度和弱学习器的数量，构建CS-XGBoost模型训练数据集。实验结果表明，基于CS-XGBoost的收入分类模型的准确率、精确率、F1分数和AUC等指标分别为95.67%、97.17%、95.56%和97.96%,均优于Logistic回归、支持向量机、随机森林、XGBoost算法和基于网格搜索的XGBoost算法；基于CS-XGBoost的房价预测模型的决定系数、均方根误差及平均绝对误差分别为0.905 5、2.943 5及2.165 4,预测精度较XGBoost算法得到显著提升。     

融合矩阵分解和XGBoost的个性化推荐算法

针对传统的协同过滤推荐算法中评分矩阵过于稀疏和算法准确度不高的问题,提出一种融合矩阵分解和XGBoost算法的推荐算法(MFXGB,Matrix Factorization XGBoost),其特点是利用SVD++算法(SVD,Singular Value Decomposition)对用户项目评分矩阵进行填充,避免过多的缺失值对算法精确度的影响,再利用XGBoost(eXtreme Gradient Boosting)算法训练有监督的模型用于预测用户评分.为了克服计算成本过高的困难,提出利用K-均值聚类方法进行特征提取用于训练XGBoost模型.将MFXGB算法应用于MovieLens数据集进行实验分析,结果显示,MFXGB算法的推荐精确度比传统的3种方法分别提高了8.91％、10.18％和11.79％,效果明显优于传统的推荐算法.     

基于LR RF XGBoost的债券违约风险预警

随着市场经济的迅猛发展,各国的债券市场也相继成长,并趋向于多元化发展.然而,在这一发展过程中,中国的债券违约事件屡见不鲜且愈演愈烈,极大地阻碍了市场活力.以发行企业债券、公司债券、短期融资债券以及中期债券的公司为研究主体,提出LR RF XGBoost债券违约预警模型,该模型基于软投票法将逻辑回归（Logistic Regression）、随机森林（Random Forest）、极端梯度提升算法（Extreme Gradient Boosting）相融合,对样本的财务指标及非财务指标数据进行研究.研究结果发现:LR RF XGBoost融合模型相比于其他单一预警模型泛化能力更强,准确率高达95.3%.该方法有利于为投资者以及债券市场监督部门提供可靠的预测信息,帮助企业及早识别风险,为债券市场的健康发展提供保障.     

基于XGBoost的列控车载设备故障预测方法

列控车载设备的健康管理和故障预测是实现高速铁路关键装备智能化视情维护的重要途径.为了克服列控车载设备故障建模的复杂性和健康监测手段受限等问题,充分运用现场收集的设备运行记录数据,提出一种基于数据驱动的列控车载设备故障预测体系框架.建立了高速列车列控车载设备运行数据管理平台,基于大量历史现场数据构建训练及测试样本集,运用极端梯度提升(eXtreme Gradient Boosting,XGBoost)算法实施特定故障类型的模型训练与学习,并将所得故障模型用于故障概率的预测分析.以CTCS2-200H型列控车载设备为对象,运用实际数据对所提出的故障建模方法进行了验证,对不同建模样本规模、故障类型维度下的模型性能以及不同建模算法性能进行了对比.结果表明:基于XGBoost算法的建模方法能够有效揭示各特征量与故障之间的关联,所采用树的深度值越高,迭代收敛速度越快;相较于GBDT、RF算法,基于XGBoost的建模方法能够实现更高的预测正确率,在给定样本条件下达到稳定正确率所需训练时间分别减少了78.55％、12.47％,验证了该方法在大规模数据条件下的适用性和性能优势.     

考虑竞争的电影首映日票房集成预测模型研究

电影首映日票房预测对该日排片、后续放映日票房及总票房有显著影响。在构建考虑竞争的电影首映日票房预测变量集的基础上,建立首映日票房集成预测模型。首先使用多元线性回归(multiple linear regression, MLR)、支持向量回归(support vector regression, SVR)、套索回归（Least absolute shrinkage and selection operator, Lasso）和极端梯度提升（Extreme Gradient Boosting, XGBoost）等算法建立基学习器,随后使用XGBoost算法作为原学习器构建堆栈集成预测模型,最后利用收集到的数据进行对比实验。实验证明,加入竞争变量的电影首映日票房预测变量集适用于首映日票房预测;相比单一模型,提出的集成预测模型的准确性、泛化性能和稳定性均有提升,相比较传统预测方法对首映日票房预测更准确。提出的集成预测模型有助于提升首映日票房排片的有效性。     

XGBoost算法在糖尿病血糖预测中的应用

糖尿病已经成为威胁人类健康的慢性病之一.实现对糖尿病的早期预测,有助于辅助医疗决策.针对糖尿病数据普遍存在的维度过高,缺失值较多等特点,为了提高预测精度,从集成学习入手,提出一种基于XGBoost算法的糖尿病预测模型.该模型以CART回归树作为基学习器,利用收集到的真实数据对模型进行训练和测试,并调整XGBoost的主要参数,最终实现了血糖值的回归预测.实验结果表明,该模型平均绝对百分比误差下降到8.57%,比本文对比的基于SVM、随机森林的预测模型精度更高,且运行速度快,稳定性强.     

基于改进果蝇优化算法的随机森林回归模型及其在风速预测中的应用

针对随机森林(RF)算法在风速预测中存在参数选择困难及预测精度低的问题,提出了基于改进果蝇优化算法(IFOA)的随机森林回归(RFR)模型.在果蝇优化算法(FOA)中引入指数函数和三角函数实现搜索步长的自适应更新,增强全局寻优和局部探索的能力.结合RFR算法对噪声和异常值具有良好容忍度的优点,利用IFOA优化RFR主要参数,将优化后的模型应用于风速预测.实验结果表明,IFOA-RFR组合模型相比于其他模型具有更高的预测精度,验证了该方法在风速预测中的可行性.     

基于Stacking融合的工程造价预测组合模型

为了快速准确地进行工程造价预测，本文收集高层住宅工程造价历史数据，利用相关性系数法对定量指标进行约简，运用Python构建了以随机森林、XGBoost和岭回归作为初级学习器，岭回归作为元学习器的Stacking集成学习的融合模型。结果表明：基于Stacking融合模型预测精度较高，结果稳定，平均绝对误差在5%以内，有助于项目建设前期的造价预测。     

基于XGBoost的新零售优惠券使用行为预测

为实现新零售优惠券的定向投放,提出了对用户优惠券使用行为预测的模型.该文采用XGBoost算法,突破了以TAM模型(技术接受模型)为基础解释个人优惠券使用意愿的传统方法,并基于口碑网的真实交易数据进行了特征提取和用户使用行为建模.在K折交叉验证之后通过变量重要性评分,确定了对消费者使用决策贡献度较高的特征,并与随机森林和GBDT(梯度提升决策树)算法进行了AUC(Area under curve)准确率的对比.该研究证明了基于XGBoost的集成学习算法在优惠券使用行为预测中的有效性,对新零售精准营销有重要的现实意义.     

基于深度置信网络与梯度提升决策树的糖尿病检测方法

针对糖尿病数据特征维度较高,单一分类器过度拟合导致性能受限,不能较好对糖尿病进行分类识别这一问题,提出了一种深度置信网(Deep Belief Networks,DBN)融合梯度提升决策树(Gradient Boosting Decision Tree,GBDT)的糖尿病检测算法(DBN-GBDT).该算法利用DBN对海量数据的特征提取和拟合复杂模型的能力,GBDT算法具有很强的泛化能力,将DBN用于特征提取和特征降维,GBDT方法用于分类.将提出的算法用于糖尿病数据分类识别,并与DBN、GBDT、SVM和随机森林四种经典方法进行对比.实验结果表明,该算法分类精度较高,稳定性更强,为糖尿病检测提供了新的方法.     

基于认知诊断与XGBoost的学生表现预测研究

针对认知诊断方法未考虑学生的答题共性和矩阵分解方法未考虑学生知识点掌握个性的问题，提出一种结合认知诊断与XGBoost(eXtreme Gradient Boosting)的学生表现预测方法(PRNCD-XGBoost):首先，根据试题中知识点之间的共现关系探索知识点之间的相似性，并结合试题-知识点二分图挖掘试题中各知识点所占权重，从而进行认知诊断；然后，用认知诊断阶段的预测结果对历史得分矩阵进行填充；最后，采用非负矩阵分解方法提取出包含认知诊断因素的学生答题共性特征进行得分预测。并在ASSISTments2009和ASSISTments2017数据集上，将PRNCD-XGBoost方法与PMF、NeuralCD、PR-NCD、NMF-XGBoost、MNMF-XGBoost等方法进行对比实验。实验结果表明：PRNCD-XGBoost方法在学生表现预测方面具有更高的预测精确度。     

基于Stacking特征增强多粒度联级Logistic的个人信用评估

主要针对广受关注的P2P网贷信用评估问题，利用机器学习方法提高申请人网贷违约预测准确率，研究出基于Stacking特征增强多粒度联级Logistic方法及其应用.所提分类器是一种混合模型，结合了Stacking集成学习和联级Logistic学习的思想.首先，通过网格搜索技术分别建立XGBoost, Catboost, LightGBM,AdaBoost以及Gradient Boosting模型，并筛选出适合的基评估器作为Stacking集成的初级学习器，logistic模型作为次级学习器，构建基于Stacking的多粒度扫描器，生成预测结果作为元特征，拼接成新特征数据.其次，通过新特征数据以及元特征在每级Logistic上的特征增强建立联级Logistic Regression模型，并且与现有的单一集成学习器和各基评估器在3个不同的P2P网贷信用评估数据集上进行对比.实验结果表明，通过AUC、准确率等指标对其进行评价，相比于各基评估器以及其他单一集成分类器，基于Stacking增强多粒度联级Logistic模型有较高的准确率，预测效果更优.     

基于多机器学习模型的逐小时PM2.5浓度预测对比

【目的】比较分析XGBoost模型、LightGBM模型、随机森林模型(RF)、K最近邻模型(KNN)、长短期记忆神经网络(LSTM)、决策树模型(DT)共6个PM_2.5浓度预测模型,以准确、及时预测环境PM_2.5浓度。【方法】基于重庆市合川区2020年全年空气质量监测数据和气象数据,通过最大相关最小冗余算法(MRMR)进行数据降维选择最优特征子集,作为模型的输入,逐一进行PM_2.5浓度预测;考虑到不同季节PM_2.5浓度差异较大,故分季节预测了PM_2.5浓度;为了探究各模型预测性能,计算了各模型运行时间和内存占用,并基于PM_2.5与特征变量的相关性和特征变量的重要性探讨了模型预测性能季节性差异原因。【结果】模型总体预测精度从高到低排序为 XGBoost、RF、LightGBM、LSTM、KNN、DT模型;预测性能方面,6个模型均表现为秋冬季节预测精度高于春夏季节;LightGBM模型可在保证模型精度的情况下,大幅减少模型训练时间和内存占用;特征重要性显示PM₁₀浓度、气温和气压的重要性高,O₃浓度、风向和NO₂浓度重要性相对较弱。【结论】采取MRMR方法进行数据降维选取的最优特征子集能较好地预测PM_2.5浓度;相比较而言,XGBoost、RF、LightGBM、LSTM模型在PM_2.5浓度预测上具有较优性能,其中综合性能较好的为LightGBM模型。     

基于极限梯度提升的公路深层病害雷达识别

针对探地雷达A-scan数据检测多类公路深层病害准确率不高的问题,首先通过实地数据采集、钻芯取样技术,结合数据预处理和专家解释过程,建立大量具有公路深层病害类别标签的A-scan数据库。对不同类别与不同严重程度的病害表征进行对比分析,充分挖掘公路深层病害的细节表征。最后,基于时域-频域多维度,选取A-scan反射波的能量、方差、峰度和对数功率谱作为特征值,引入人工智能分类方法中表现出色的极限梯度提升XGBoost算法（Extreme Gradient Boosting）对数据进行训练和分类预测。结果表明：通过对病害特征的有效提取,XGBoost分类算法对脱空、疏松、裂缝或断层类病害的识别精度均可达90%以上。     

多视图几何轻量级三维重建算法

针对现有深度学习三维重建网络内存消耗严重、效率低下的问题，提出了高效的多视图几何三维重建网络(high efficiency multi-view stereo network,H-MVSNet)模型，将原始图片序列和预测的粗略深度图融合，进一步提高最终深度图的质量;构建轻量级的特征提取模块和正则化模块，减少提取冗余度;采用由粗到精的策略，建立高效的深度图细化模块，减少计算量。实验表明，H-MVSNet模型在DTU数据集中的精度误差可达0.327mm，计算一张分辨率为640×480的深度图仅需0.44s，内存消耗可低至2.46GB，显著提高了三维重建的精度和准确度。     

基于多模型融合的互联网信贷个人信用评估方法

针对网络个人信用有效评分缺失的问题,分析了互联网信贷个人信用评估数据的特点,选用支持向量机、随机森林和XGBoost分别建立了信用预测模型,并对3种单一模型进行了投票加权融合. 基于互联网信贷数据的特点,在特征工程中对样本集特征进行了离散化、归一化和特征组合等处理. 为增加对比,对实验数据集进行了FICO评估核心Logistic回归分析. 实验结果表明:3种单一算法性能均优于Logistic回归,XGBoost表现优于支持向量机和随机森林模型,预测相对准确;投票融合模型的表现比单一模型更好,模型分辨能力更优秀,预测精度更高,更适用于互联网信贷个人信用评估.     

基于随机森林优化的自组织神经网络算法

针对基于降维的神经网络分类器预测模型在分析过程中存在特征丢失, 并导致精度下降的问题， 提出一种基于随机森林算法优化的多层感知器(MLP)回归预测模型. 该优化模型通过在MLP回归模型网络的全连接层和逻辑回归层之间增加一个优化机制, 利用随机森林算法对隐藏层状态的优化实现改进, 从而解决了降维过程中神经网络丢失数据特征的问题. 在借贷客户信息数据集上的实验结果表明, 该模型在保证主要特征的同时大幅度提升了预测准确率, 证实该模型在特征工程中具有较高的实用性.     

电力系统短期负荷预测的多神经网络Boosting集成模型

提出了一种改进的多神经网络集成自适应Boosting回归算法.算法中采用相对误差模型代替绝对误差模型,可以更接近于回归预测问题的要求,并在Boosting迭代过程中,在对训练集采样得到新的训练子集的同时,也对校验集采样得到新的校验子集,保证了两者的一致性.进而采用美国加州电力市场的实际数据,建立了由多个神经网络集成的电力系统短期负荷预测模型.预测结果表明,与传统的单网络预测模型相比,Boosting集成预测模型能显著提高模型输出的稳定性,增强网络结构及模型选择的可靠性,获得更高的预测精度.     

基于Logistic算法的考研成绩变量预测方法

针对传统考研成绩变量预测方法的变量关联性低,导致预测结果存在较大误差的问题,提出基于Logistic算法的考研成绩变量预测方法.收集并处理历年考研成绩数据和学生成绩数据,作为成绩变量预测的初始数据.设置考研成绩的预测变量,建立Logistic回归分类算法模型,通过该模型的运算提高考研成绩变量之间的关联性.综合历年考研成绩数据的发展规律以及变量的影响因素分析结果,得出考研成绩变量的预测结果.通过对比实验分析得出结论:基于Logistic算法的考研成绩变量预测方法的预测误差率较低,预测准确性较高.