基于布谷鸟搜索的XGBoost算法优化及应用研究

为提高XGBoost算法预测精度，采用布谷鸟搜索算法全局优化XGBoost的超参数包括学习率、输出结点分裂的最小损失、树模型的最大深度和弱学习器的数量，构建CS-XGBoost模型训练数据集。实验结果表明，基于CS-XGBoost的收入分类模型的准确率、精确率、F1分数和AUC等指标分别为95.67%、97.17%、95.56%和97.96%,均优于Logistic回归、支持向量机、随机森林、XGBoost算法和基于网格搜索的XGBoost算法；基于CS-XGBoost的房价预测模型的决定系数、均方根误差及平均绝对误差分别为0.905 5、2.943 5及2.165 4,预测精度较XGBoost算法得到显著提升。     

基于XGBoost的短时交通流预测模型

为提高路段短时交通流的预测精度,选取路段平均旅行时间作为预测指标,建立了一种基于极端样度上升(extrem gradient boosting,XGBoost)的短时交通流预测模型。首先通过对交通流数据的分析,在考虑交通流时空特性的基础上,分别构建目标路段时间序列训练集、测试集以及时空序列训练集、测试集,然后基于XGBoost模型以及构建的训练样本集建立时间序列预测模型以及时空序列预测模型,并利用训练好的模型进行预测,最后将模型预测结果与线性回归模型、神经网络模型预测结果进行比较。实验结果表明:基于XGBoost的短时交通流预测模型能够对路段未来时段平均旅行时间进行比较准确的预测,其中时间序列预测模型均方根误差为5. 32,时空序列预测模型均方根误差为4. 82,均低于线性回归模型和神经网络模型,且相比于仅考虑时间因素的短时交通流预测模型,同时考虑时空因素的预测模型得到的误差更低,预测效果更好。     

考虑竞争的电影首映日票房集成预测模型研究

电影首映日票房预测对该日排片、后续放映日票房及总票房有显著影响。在构建考虑竞争的电影首映日票房预测变量集的基础上,建立首映日票房集成预测模型。首先使用多元线性回归(multiple linear regression, MLR)、支持向量回归(support vector regression, SVR)、套索回归（Least absolute shrinkage and selection operator, Lasso）和极端梯度提升（Extreme Gradient Boosting, XGBoost）等算法建立基学习器,随后使用XGBoost算法作为原学习器构建堆栈集成预测模型,最后利用收集到的数据进行对比实验。实验证明,加入竞争变量的电影首映日票房预测变量集适用于首映日票房预测;相比单一模型,提出的集成预测模型的准确性、泛化性能和稳定性均有提升,相比较传统预测方法对首映日票房预测更准确。提出的集成预测模型有助于提升首映日票房排片的有效性。     

基于多模型融合的互联网信贷个人信用评估方法

针对网络个人信用有效评分缺失的问题,分析了互联网信贷个人信用评估数据的特点,选用支持向量机、随机森林和XGBoost分别建立了信用预测模型,并对3种单一模型进行了投票加权融合. 基于互联网信贷数据的特点,在特征工程中对样本集特征进行了离散化、归一化和特征组合等处理. 为增加对比,对实验数据集进行了FICO评估核心Logistic回归分析. 实验结果表明:3种单一算法性能均优于Logistic回归,XGBoost表现优于支持向量机和随机森林模型,预测相对准确;投票融合模型的表现比单一模型更好,模型分辨能力更优秀,预测精度更高,更适用于互联网信贷个人信用评估.     

基于数据扩展的短时交通流量预测

多种机器学习和深度学习的模型和算法应用于短时交通流量预测,但是,大多数模型尤其是深度学习模型对训练样本的数量要求较高。为此,提出了一种基于数据扩展的短时交通流量预测方法,该方法基于自编码神经网络分别结合长短时记忆神经网络(LSTM)和支持向量机回归(SVR)构建预测模型,该模型利用自编码神经网络扩展的数据分别训练长短时记忆神经网络和支持向量回归进行交通流量的预测,结果表明,所提出的预测模型具有较高的精度和较好的泛化能力。     

改进的Prophet融合误差预测模型应用于大气二氧化硫时序预测

近年来,天气预报中的空气质量预报成为大众尤为关心的热点,由于二氧化硫对空气质量水平变化的影响较大,因此准确预测二氧化硫的浓度变化尤为重要.采用XGBoost模型对Prophet模型的预测误差进行修正,建立改进的Prophet融合误差预测模型,对于空气质量中的关键指标二氧化硫进行时序预测.将时序数据输入Prophet模型,对Prophet生成的预测结果与源输入比较求出残差,构建关于残差的时序序列,利用XGBoost进行残差时序建模,获取残差的修正值,将修正值返回输入到Prophet模型.通过上述步骤,构建特定时序数据融合模型.实验数据表明,融合模型在预测结果中的平均绝对误差和均方根误差分别为1.08和1.38,与Prophet相比,误差指标分别降低2.47,2.45;与差分整合移动平均自回归模型相比,误差指标分别降低0.49,0.47;与XGBoost模型相比,误差指标分别降低0.54,0.52.证明融合模型的预测精度优于上述模型.     

基于网格搜索优化的XGBoost模型的股票预测

本文提出了一种改进的XGBoost股票预测模型GC-XGBoost,并将该模型运用到股票市场进行股票价格短期预测.实验结果表明GC-XGBoost模型在MSE,MAE,R2三个评价指标上优于没有进行参数优化的XGBoost模型,说明GC-XGBoost模型比XGBoost模型提高了预测能力.     

航班到港延误时长预测及特征分析

为破除XGBoost模型的黑盒特性,增强模型的说服性,提出一种基于SHAP的可解释性航班到港延误时长预测模型。首先,对航班历史数据、天气数据进行融合,在融合数据的基础上进行异常值处理,并利用递归特征消除方法进行特征选择;其次,构建航班延误时长预测模型,利用遗传算法进行参数调优,并与目前常用的模型进行对比;最后,在航班延误时长预测的基础上结合SHAP模型,从总体特征和特征间的相互关系2个角度分析特征的重要程度。实验结果表明,经过遗传算法调优的XGBoost模型预测精度更高,其中MAE降低了8.94%,RMSE降低了19.85%,MAPE降低了6.15%,且其模型精度更高。因此,SHAP模型破除了XGBoost模型的黑盒特性,增强了模型的可解释性,可为降低航班延误时长提供技术支持。     

基于粒子群优化的SVR风电功率超短期预测

建立了风电功率预测系统并提高其预测精度和预测速度.分析影响风机出力的主要因素并结合风电场实测风速数据和环境参数,提出了一种基于粒子群优化的SVR风电功率超短期预测模型,该模型可以有效地优化支持向量回归机(SVR)的主要参数.通过与遗传算法优化的预测模型(GA-SVR)进行比较,发现该预测模型在超短期风电功率预测上有较高的预测精度和运算速度.     

基于LSTM与XGBoost组合模型电价预测

为准确预测电力市场中的短期电价,提出了基于LSTM和XGBoost的组合预测模型。为了验证LSTM-XGBoost模型的有效性,该文先选用法国电力市场2019年1月1日至2020年12月31日的电价数据为训练集训练模型,对2021年1月1日不同模型预测的结果与实际电价值进行对比,得到LSTM-XGBoost以RMSE为0.74的误差率低于BP、LSTM、XGBoost的3.80、1.25、0.88,然后将算法应用到美国PJM电力市场,结果表明本文提出的LSTM-XGBoost组合预测模型MAPE平均值为1.83%,明显低于单一预测模型,也显著低于GRU-XGBoost组合模型,表明并非所有模型单一组合都能有效提高预测精度,该文提出的LSTM-XGBoost组合模型有效提升了短期电价的预测精度,且具有很强的普适性,可应用于电力市场短期电价预测,为市场参与者和监管机构提供有力决策依据。     

基于XGBoost的乳腺癌预测模型

针对现有乳腺癌预测模型虽然准确率较高,但是存在过拟合现象且在用于计算机辅助诊断(Computer Aided Diagnosis,CAD)过程中不能很好的降低漏诊率和误诊率的问题,提出了一种基于XGBoost算法构建的乳腺癌预测模型。在实验中采用细针穿刺细胞病理学检查所获得的检验数据进行实验并对比基于XGBoost的乳腺癌预测模型与已有预测模型的预测准确率,结果显示,基于XGBoost算法的乳腺癌预测模型预测准确率达到了97.86%,ROC曲线下方面积(AUC)的大小达到了99.59%,该模型的准确率优于已有乳腺癌预测模型的准确率,且获得了较高的AUC值,通过基于XGBoost的乳腺癌预测模型可以进一步优化乳腺癌的诊断技术。     

基于随机森林优化的自组织神经网络算法

针对基于降维的神经网络分类器预测模型在分析过程中存在特征丢失, 并导致精度下降的问题， 提出一种基于随机森林算法优化的多层感知器(MLP)回归预测模型. 该优化模型通过在MLP回归模型网络的全连接层和逻辑回归层之间增加一个优化机制, 利用随机森林算法对隐藏层状态的优化实现改进, 从而解决了降维过程中神经网络丢失数据特征的问题. 在借贷客户信息数据集上的实验结果表明, 该模型在保证主要特征的同时大幅度提升了预测准确率, 证实该模型在特征工程中具有较高的实用性.     

基于深度学习的短时交通流量预测

针对交通流数据的时间相关性和非线性等特点,现有预测方法未能充分获取交通流的本质特征,提出了一种基于深度学习的短时交通流量预测方法。该方法结合长短时记忆神经网络(LSTM)和支持向量机回归(SVR)作为预测模型,利用长短时记忆神经网络模型进行获取特征,用获取的特征训练支持向量回归进行交通流量的预测,比较了与其它模型的预测效果,真实数据集的结果表明,该模型有较高的预测精度。     

基于改进符号回归算法和XGBoost算法的剩余续驶里程预测

提高剩余续驶里程预测精度可以缓解驾驶人的"续航焦虑",帮助车厂开发精细的电池管理系统,提高纯电动汽车的接受度.基于改进符号回归算法自动生成与标签字段高度相关的新数据特征字段,实现数据维度扩充.再将维度扩充后的数据传入经过超参数调优的XGBoost模型预测剩余续驶里程.对比仅使用经典特征字段的原始数据,维度扩充后的数据在...     

基于灰色模型的节水灌溉面积非线性组合预测

对数据进行建模预测分析时,较多采用单个模型,而单个模型难以全面反映数据的变化规律.为发挥单个模型自身优势,利用组合原理将单模型组合形成组合预测模型,以提高预测精度.组合模型中常采用线性组合方法,然而被组合模型拟合值与原始数据不具有线性关系时采用该方法效果较差.利用神经网络的高度非线性拟合能力,构建BP神经网络的非线性组合模型,并应用到我国节水灌溉面积年度数据预测上.实证表明,非线性组合预测模型精度优于单模型及基于最优加权的线性组合预测模型.     

机场道面使用性能的动态自回归预测模型

针对我国机场道面性能观测时间短,观测数据少,使用现有模型预测精度低,不能根据观测值动态更新预测模型等现状,提出了将卡尔曼滤波应用于时间序列预测的方法,建立了动态自回归预测模型,进行机场道面使用性能的预估.选取我国华东某机场的实测道面状况指数为基础数据,进行时间序列建模,应用卡尔曼滤波算法实现时间序列模型参数的实时更新,分析模型的预测效果.时间序列数据较少时,难以建立高精度的自回归模型,通过卡尔曼滤波处理建立的动态自回归预测模型精度明显提高.     

三种预测模型的比较与研究

通过对某地区自然灾害造成的损失数据的预测,针对灰色预测模型GM(1,1)预测精度问题展开了一系列研究.采用直线插值法将非等时距数据进行等时距变换.通过后验差验算线性回归模型、指数回归模型和GM(1,1)模型的预测等级,验算结果表明指数回归模型的预测等级与GM(1,1)的预测等级都处于最优级,线性回归预测等级为不合格.为进一步研究GM(1,1)和指数回归预测模型的预测精度,将两者的预测相对残差绝对值进行对比分析,结果表明GM(1,1)整体预测精度比指数回归模型略高.     

基于最小二乘支持向量机的风速组合预测模型

探讨了基于最小二乘支持向量机的组合预测模型在风速短期预测中的可行性.该模型以BP神经网络、RBF神经网络、粒子群BP神经网络3种预测模型的风速预测值作为组合预测模型的输入,实际风速值为输出,利用最小二乘支持向量机回归算法构造风速间的非线性关系,以实现风速多步预测.将该模型的预测性能与BP神经网络组合预测模型、线性组合预测模型进行比较,通过平均绝对误差、误差平方和、平均相对误差3个指标进行评价.结果表明,最小二乘支持向量机预测模型的平均相对误差低于6%,其他误差指标也明显低于其他预测模型.因此,最小二乘支持向量机组合预测模型预测精度不仅高于任一单项预测模型预测精度,而且高于传统的线性组合预测模型与一般BP神经网络组合预测模型.验证了该模型在风速预测中的可行性.     

灰多元前移线性回归组合预测模型的构建及其应用

基于灰色系统理论具有时间序列和累加的特性,将灰色理论引入到前移线性回归分析模型中,建立一种新的组合预测模型―灰多元前移线性回归组合预测模型.该模型很好地处理了灰色系统模型中难以体现线性因素的问题,同时也大大弱化了前移线性回归分析模型中异常数据对预测效果的影响,使预测能及时跟踪因变量的动态变化.本文重点将上述组合预测模型应用于湖南省电力需求的预测问题中,结果表明,该模型在实际应用中是十分有效的,预测结果可以作为管理决策的理论依据.     

应用支持向量机的空中交通流量组合预测模型

为了提高空中交通流量预测的准确性,研究了将支持向量机(support vector machine, SVM)应用于空中交通流量预测的方法,建立了基于SVM的自回归预测模型,讨论了模型参数确定等关键问题.在SVM预测模型基础上,将SVM与多项式和鲁棒自回归预测模型结合,提出组合预测模型.利用北京周边空域实测流量数据进行的对比实验结果表明: SVM预测模型的预测误差小于5%, 组合预测模型的预测误差小于2%, 均优于多项式和鲁棒自回归预测模型;组合预测模型的预测精度和稳定性整体上又优于SVM预测模型.