基于可解释机器学习模型的南宁市野火灾害易发性研究

野火易发性评价对野火灾害的前期预防以及灾害管理决策的制定至关重要。目前野火易发性的研究主要集中于提高模型的预测精度,而往往忽略对模型的内部决策机制进行解释分析。为此,构建了一种基于可解释机器学习的野火易发性模型,并详细分析了各因子对野火易发性预测结果的影响。以南宁市历史野火样本为基础,综合考虑样本的空间分布特征,选取高程、归一化植被指数(normalized difference vegetation index, NDVI)、年均降雨和平均气温等18项评价因子,利用分类和回归树(calssification and regression tree, CART)、随机森林(random forest, RF)、轻量的梯度提升机(light gradient boosting machine, LGBM)和极致梯度提升(extreme gradient boosting, XGBoost)4种机器学习模型构建野火易发性预测模型。基于性能最优的易发性模型,运用沙普利加和解释(shapley additive explanations, SHAP)方法完成特征全局性解释、依赖性分析和典型样本...     

基于小波分析和集成学习的短时交通流预测

针对短时交通流具有随机性和不确定性等特征,提出一种基于小波分析和集成学习的组合预测模型.首先,对原始交通流数据的平均行程时间序列应用Mallat算法进行多尺度小波分解,且对各尺度上分量进行单支重构;其次,对于各重构的单支序列分别使用极端梯度提升模型(extreme gradient boosting,XGBoost)进...     

基于机器学习均值化的地质灾害易发性评价

建立地质灾害易发性评价模型并开展易发性评价，对提高区域地质灾害预报预警效率和精度有重要意义.然而，如何建立既切合区域实际、又具有推广适用价值的地质灾害易发性评价模型是制约地质灾害预报预警的关键科学问题.以云南省南华县2015年地质灾害详查数据为基础，选择地形、地貌等11个因子，基于均值法，采取梯度提升树算法（XGBoost、LightGBM、CatBoost）、信息量模型与地理加权回归模型开展了地质灾害易发性评价研究.结果表明：(1)地理加权回归模型预测结果存在过拟合现象，信息量模型则存在欠拟合现象；(2)均值法效果最好，AUC(Area Under Curve)值为0.933 7，精度较地理加权回归模型、XGBoost、LightGBM、CatBoost、信息量模型分别提高了1.7%、1.8%、2.0%、3.8%、4.0%；(3)Catboost对正样本的预测效果最差，但是对负样本的预测效果最好，而XGBoost对正样本的预测效果最好，对负样本的预测效果很差，基于3种梯度算法的均值法则对正负样本的预测精度有了明显提高；(4)南华县地质灾害主要诱因有道路修建、断层活动、降雨冲刷、河流侵...     

面向网络安全不平衡数据的特征学习和分类研究应用

网络数据的正确分类对于网络环境的监控和维护具有重要作用。在数据不平衡状态下解决数据分类和处理复杂的特征关系尤为重要,为此提出一种改进SMOTE(synthetic minority over-sampling technique)+GA-XGBoost(genetic algorithm-extreme gradient boosting)的机器学习分类方法。将局部离群因子引入SMOTE插值过程,对少数类样本过采样,并对多数类样本随机欠采样,从而实现样本再平衡;同时,在模型训练过程中为增加模型拟合度,将具有进化迭代优势的遗传算法与XGBoost相结合,解决XGBoost参数众多、特征学习收敛较慢等问题。实验采用UNSW＿NB15数据集,选择多层感知机、K近邻、决策树等机器学习算法及SMOTE+XGBoost等不平衡数据训练方法进行试验对比,结果表明该方法具有较好的分类预测准确率(97.40%)及较高的平均召回率(70.2%)和平均F₁-score(68.8%)。并在本实验室工业信息安全平台采集的数据进行实验研究,分类准确率为99%,进一步验证了该方法的有效性和可行...     

面向不平衡数据集的SMOTENC-XGBOOST驾驶人交通安全评估模型

为深入挖掘驾驶人因素与交通事故之间的关系,提出一种基于SMOTENC和极端梯度提升(extreme gradient boosting, XGBoost)的驾驶人交通状态优劣分类算法。首先针对交通事故发生与否不平衡的特点,使用SMOTENC算法对数据进行上采样并在采样过程中加入随机扰动,解决了数据不平衡问题。然后使用Embedded算法结合L1正则化,通过模型评估完成对特征子集的选择。最后使用机器学习的方法将XGBoost算法用于执行数据的特征提取和分类过程。实验表明,在对驾驶人的交通状态进行综合评价的任务上,XGBoost模型的准确率为99.85%,相较于随机森林、支持向量机等对照组模型,提升了约1.12%-1.80%。除此之外,使用SMOTENC算法对数据不平衡问题进行处理后,通过混淆矩阵观察到模型对于好坏个体均具备较好的识别能力。     

用于储量渗透率预测的高效梯度提升决策模型

渗透率预测本质上属于拟合问题,因此可用拟合模型进行解决。机器学习模型是解决拟合问题的利器,其中LightGBM (light gradient boosting machine)表现出色,为此选用该模型进行预测。然而,LightGBM预测性能受自变量的数量和性质影响较大,同时较多超参数的使用使其预测状态难以最优,为此采用MIV (mean impact value)算法和CD (coordinate descent)算法对模型进行改进。为验证提出模型的预测性能,以姬塬油田西部长8段致密砂岩储层为例进行研究。设计了三个实验分别对提出模型进行性能分析。根据实验结果发现MIV和CD的使用能提高LightGBM的预测性能,同时提出模型在预测上较常规混合机器学习模型表现更为高效。实验结果证明提出模型可在纯数据驱动下高效地预测渗透率,较经典物理模型更具有适用性和推广性。     

基于多源数据及三层模型的小班林型识别

【目的】目前关于林型识别的研究区域主要为小范围森林区域和林场,为了探究较大范围内林型的识别方法,本研究使用Sentinel-2光学遥感影像、森林资源二类调查数据、数字高程模型(DEM)和Sentinel-1雷达遥感影像数据建立林型识别模型。【方法】以淳安县作为研究区域,针对淳安县各个小班中的7种林型:毛竹(Phyllosstachys edulis)林、茶树(Camellia sinensis)林、山核桃(Carya cathayensis)林、杉木(Cunninghamia lanceolata)林、马尾松(Pinus massoniana)林、阔叶混交林、其他硬阔林进行识别。研究采用分层的方法对林型进行识别,整体分为3层。第1层使用RF算法建立林地与非林地识别模型;第2层对林地数据进行树种结构识别,分别使用随机森林(random forest, RF)、极端梯度提升(eXtreme gradient boosting, XGBoost)和 轻量级梯度提升机(light gradient boosting machine, LightGBM)方法建立不同模型并对比分析实验结果;第3层将树种结构细分为林型。【结果】第1层RF林地与非林地识别模型总体精度为98.08%;第2层树种结构识别模型中对比了3个模型不同特征组合下的性能,其中LightGBM模型总体精度最高,达到81.43%;第3层模型对林型进行识别,基于所有特征结合雷达遥感因子建模的情况下,LightGBM模型精度为84.51%,经递归特征消除法(recursive feature elimination, RFE)选择特征后,最优精度为83.21%。【结论】通过各个模型的特征重要性图发现,光学遥感中的绿光、红光、近红外波段和红边波段,以及DEM提取的地形因子对研究区域小班林型识别有较好的效果,而Sentinel-1雷达中提取的自变量对林型的识别没有特别明显的帮助。     

基于集成学习CatBoost优化模型的爆堆大块率预测

爆破产生的爆堆大块率问题一直以来都影响着矿山的生产效益.利用机器学习机制中集成学习思想实现大块率预测.以满洲里乌山铜矿实际采集的36组实测数据为例,整理形成10种特征数据.通过给定参数循环训练调优,再用交叉验证网格搜索的方法进行模型二次调优,并对比调优实现后模型与随机森林法、XGBoost模型、LightGBM模型和CatBoost模型进行效果对比.结果表明,经过两轮调优后的CatBoost模型预测效果明显高于其他几种模型,R²准确度可达98.83%,证明了两轮调优后CatBoost模型具有较高的预测水平,验证了该方法在大块率预测研究中的可行性,为爆破参数设计和大块率优化分析提供了可靠的参考.     

基于改进XGBoost的地震多属性地质构造识别方法

地震属性可以用来解释与预测地质构造,因此地震属性被广泛地运用在煤矿地质构造的识别。但一般情况下,勘探区中无构造区域与有构造区域分布不均衡,无构造区域远远多于有构造区域。机器学习中,传统的分类器更习惯于偏向多数类,这使得如何有效地识别出构造体成为一个难题。为了解决这一问题,提出了一种针对不平衡数据集的改进极限梯度提升(extreme gradient boosting, XGBoost)构造识别方法。该方法的原理是,首先,以基于三维地震勘探成果数据体提取的12种地震属性为数据集特征,以实际揭露后的地质构造为数据集标签构建多属性数据集,然后以特征对标签的相关性为标准,过滤掉冗余的特征;其次,将边界样本分类算法(boundary sample classification, BSC)与合成少数类过采样技术(synthetic minority over-sampling technique, SMOTE)相结合形成BSC-SMOTE算法。用BSC-SMOTE算法对原始数据集进行平衡,再利用平衡后的数据集训练XGBoost分类器,并用贝叶斯优化(Bayesian optimization, B...     

基于LightGBM的天然气管道周围滑坡灾害预测方法

针对天然气管道周围滑坡灾害预测中的数据缺失和特征数量少的问题,采用基于LightGBM框架实现的梯度提升决策树算法,通过插值法补齐缺失数据,利用历史特征数据生成近期特征和远期特征,得到影响斜坡演变过程各因素的重要性排序及算法最优参数集合,实现对天然气管道周围滑坡灾害的有效预测.结果表明,在对天然气管道周围滑坡灾害进行预测中,该方法相比XGBoost模型具有更高的准确率,同时处理速度也更快,证明了LightGBM算法在滑坡灾害预测方面应用的可行性和有效性.     

基于机器学习和遗传算法的高炉参数预测与优化

针对目前高炉炼铁模型精度不高问题,提出建立高炉生产过程中精确的多目标优化模型.首先对高炉的海量数据进行了数据预处理,其次采用支持向量机、随机森林、梯度提升树、XGBoost、LightGBM、人工神经网络6种机器学习算法对高炉焦比、K值进行了预测,并采用特征工程和超参调优对机器学习预测进行了优化,最后采用新的集成学习方法进行预测.预测结果不仅精准度高而且具有很好的鲁棒性.在机器学习的基础之上,采用NSGA-Ⅱ遗传算法对高炉参数进行了多目标优化分析,得到了Pareto最优解,高炉操作者可以根据该多目标优化结果针对不同的需求选择相应的控制参数.     

集成学习在电网假数据入侵检测中的应用

人工智能和机器学习的发展为入侵电网数据采集与监视控制(supervisory control and data ac-quisition,SCADA)系统的虚假数据检测,提供了新的高效解决方案.目前,针对运用机器学习中的单分类器对电网中虚假数据的检测,出现的准确率低、误检率高、模型区分能力差等问题,提出了一种基于集成学...     

基于多机器学习模型的逐小时PM2.5浓度预测对比

【目的】比较分析XGBoost模型、LightGBM模型、随机森林模型(RF)、K最近邻模型(KNN)、长短期记忆神经网络(LSTM)、决策树模型(DT)共6个PM_2.5浓度预测模型,以准确、及时预测环境PM_2.5浓度。【方法】基于重庆市合川区2020年全年空气质量监测数据和气象数据,通过最大相关最小冗余算法(MRMR)进行数据降维选择最优特征子集,作为模型的输入,逐一进行PM_2.5浓度预测;考虑到不同季节PM_2.5浓度差异较大,故分季节预测了PM_2.5浓度;为了探究各模型预测性能,计算了各模型运行时间和内存占用,并基于PM_2.5与特征变量的相关性和特征变量的重要性探讨了模型预测性能季节性差异原因。【结果】模型总体预测精度从高到低排序为 XGBoost、RF、LightGBM、LSTM、KNN、DT模型;预测性能方面,6个模型均表现为秋冬季节预测精度高于春夏季节;LightGBM模型可在保证模型精度的情况下,大幅减少模型训练时间和内存占用;特征重要性显示PM₁₀浓度、气温和气压的重要性高,O₃浓度、风向和NO₂浓度重要性相对较弱。【结论】采取MRMR方法进行数据降维选取的最优特征子集能较好地预测PM_2.5浓度;相比较而言,XGBoost、RF、LightGBM、LSTM模型在PM_2.5浓度预测上具有较优性能,其中综合性能较好的为LightGBM模型。     

基于集成学习的用户信用卡违约预测模型研究

用户信用卡违约预测任务有助于银行等金融机构平衡经济风险与经济利益,对于银行信用卡业务的风险管控具有重要作用。针对用户信用卡违约预测问题,提出了一种基于集成学习的预测模型,有异于传统集成学习中的弱学习器。该模型采用集成模型和神经网络模型作为基学习器,从而提升模型整体的预测效果。首先通过预处理提取用户信用卡数据集的相关特征,然后分别采用优化后的决策树、随机森林、GBDT、XGBoost、CatBoost和SPE六种机器学习模型与神经网络模型进行并行训练和预测,最后通过加权软投票法集成基学习器结果并输出最终预测结果。结果表明,相对于基学习器,该模型在各项评估指标上均有所提升,且拥有更好的模型泛化能力。     

基于LightGBM的特征选择算法

为解决过滤式和基于演化学习的包裹式两类特征选择算法的缺陷,提出一种新型包裹式特征选择算法LGBFS(LightGBM feature selection).首先引入LightGBM对原始特征构建迭代提升树模型并对特征重要度进行度量;随后结合提出的LR序列前向搜索策略LRSFFS对特征进行选择;最后将所提出算法与9种对比算法在21个标准数据集上进行对比,结果显示LGBFS在21个标准数据集中的16个取得最优分类精度、18个取得最优维度缩减率和最优CPU运行时间.还进行了时间复杂度分析与显著性检验,检验表明LGBFS相较6种对比算法具有显著性差异,也说明LGBFS能够同时兼顾特征子集的计算效率和分类精度.     

一种基于lightGBM框架改进的GBDT风力发电机叶片开裂预测方法

风力发电机叶片开裂直接影响风力发电机运行,采用梯度提升决策树算法与基于lightGBM框架改进的梯度提升决策树算法对风力发电机叶片开裂进行预测。对比分析了预测准确度与可行性。基于lightGBM改进的梯度提升决策树算法分析的风力发电机运行数据得出的预测结果优于梯度提升决策树算法,且对于风力发电机叶片开裂预测准确度较高,并具有实用价值。同时该算法能够大幅降低样本中的无效数据,减少计算量。其独立特征合并能够使得划分点特征数量降低,提高风力发电机叶片开裂预测的准确性。最后,风力发电机叶片开裂预测实验结果表明,基于lightGBM改进的梯度提升决策树算法取得了更好的预测结果,计算量更小且能够准确预测风力发电机叶片开裂故障。     

基于机器学习的飞机起落架着陆载荷预测模型

随着物联网、大数据技术的深入发展,一型装备交付部队的同时,往往需同步提供数字孪生模型以优化视情维护过程。论文基于某型号飞机试飞数据,提出一种将机器学习技术用于飞机起落架着陆载荷预测模型构建的方法。以某型号飞机飞行参数为输入,以传感器实测的左起落架垂向载荷为输出,经数据清洗和特征降维后,分别建立极端梯度提升（extreme gradient boosting, XGBoost）、随机森林（Random Forest）和多层前馈（back propagation, BP）神经网络模型,并对所建模型进行调优。经对比和评估,XGBoost模型具有最高的预测精度,对起落架载荷绝大多数样本的预测误差均保持在6%以内,同时建模时间少,泛化能力强,为起落架载荷预测最优模型。