基于3-D Gabor纹理特征和GBDT分类器的高光谱分类方法

为了有效提取高光谱图像的空间和光谱维特征,获得准确率和分类效率俱佳的方法,利用52个不同方向和频率的3-D Gabor滤波器提取图像的纹理特征,结合梯度优化决策树分类器(GBDT)完成高光谱图像分类.结果表明3-D Gabor+GBDT方法的分类准确率高于CNN算法、Gabor以及EMAP为纹理特征的方法,且高于CNN和以SVM为分类器的方法.虽然3-D Gabor+GBDT建模训练时间长,但是该方法在保持高准确率的前提下,分类效率依然较高,适合大规模高光谱图像的在线分类场景.     

基于深度置信网络与梯度提升决策树的糖尿病检测方法

针对糖尿病数据特征维度较高,单一分类器过度拟合导致性能受限,不能较好对糖尿病进行分类识别这一问题,提出了一种深度置信网(Deep Belief Networks,DBN)融合梯度提升决策树(Gradient Boosting Decision Tree,GBDT)的糖尿病检测算法(DBN-GBDT).该算法利用DBN对海量数据的特征提取和拟合复杂模型的能力,GBDT算法具有很强的泛化能力,将DBN用于特征提取和特征降维,GBDT方法用于分类.将提出的算法用于糖尿病数据分类识别,并与DBN、GBDT、SVM和随机森林四种经典方法进行对比.实验结果表明,该算法分类精度较高,稳定性更强,为糖尿病检测提供了新的方法.     

随机森林在高光谱遥感数据中降维与分类的应用

高光谱数据的特征数目庞大,而且波段之间存在冗余信息,对高光谱数据进行分类的成本较高,因此需要提取合适的特征达到提高效率的目的.随机森林作为一种热门算法,广泛应用于各种分类、特征选择等问题中,均取得了良好的效果.本文选择北京小汤山农业试验区的OMIS高光谱影像作为研究数据,利用随机森林算法计算每个特征的重要性指标并对其排序,针对面向精度和效率的特征选择策略,使用RF-RFE波段选择方法去除价值低的特征分别得到最佳波段组合,实现高光谱数据降维,进行随机森林、支持向量机分类.实验结果表明随机森林分类精度为72.82%,SVM分类精度为65.21%,随机森林分类器优于SVM,是一种较好的高光谱数据分类器.     

基于主动学习SVM分类器的视频分类

提出一种基于主动学习SVM分类器的视频分类算法.该算法分为两个步骤:首先分析并提取与视频类型有关的十维底层视觉特征;然后用SVM分类器建立这些底层特征与视频类型之间的联系.在获取SVM分类器所需的训练样本时,采用主动学习的方法选择对SVM分类器最"有用"的样本提供给用户进行标注,用更少的训练样本获得与大量训练样本近似的分类效果,从而减轻用户标注负担.针对多类SVM分类的主动学习问题,提出用后验概率计算分类器对未标注样本的置信度进行样本选择.实验结果表明,主动学习算法与随机采样标注的被动学习算法相比,在相同的训练样本情况下能够获得更高的分类精度;而基于后验概率选择样本的主动学习要略好于传统的基于变型空间(version space)选择样本的主动学习.     

支持向量机方法在运动意识识别中的应用

为有效识别与运动想像相关的脑电模式,提出基于支持向量机(SVM)的运动意识分类新算法,利用sym2小波基函数对脑电(EEG)信号进行6尺度分解后,从每级分解中提取绝对值最大的小波系数作为信号特征,构成有效特征向量输入SVM分类器,实现基于EEG的运动想像模式识别.实验数据采用脑机接口竞赛(2003)的脑电数据,实验结果表明采用径向基核函数的SVM分类器可有效地对EEG进行运动想像分类,具有良好的泛化推广能力,为脑机接口的运动意识分类提供了新思路.     

相空间重构与差分进化算法-烟花算法-支持向量机结合的高压开关机械故障诊断方法

振动信号特征识别是一种有效地非侵入式高压开关机械故障诊断方法。提出采用互补集合经验模态分解(CEEMD)结合相空间重构提取有效特征,输入到差分进化算法(DE)和烟花算法(FWA)优化支持向量机(SVM)核函数参数的分类器,实现DE-FWA-SVM对机械故障诊断的准确识别。首先,通过CEEMD将振动信号分解成一系列固有模态函数(IMF),对相关系数较大的IMF分量进行相空间重构,提取表征混合特征的最大李雅普诺夫指数和关联维数构造特征向量;引入DE算法优化FWA算法的求解精度和收敛速度,再以DE-FWA对SVM参数寻优,解决SVM参数选择敏感问题;最后根据模拟四种典工况进行试验分析,结果表明:该振动提取方法能准确提取特征,DE-FWA-SVM表现出更优分类性能。     

基于分形维数和SVM的新疆民间艺术图案分类

针对已有分类器存在的缺陷, 提出一种以分类错误率为标准选择组合特征的分类方法, 提高分类器的分类精度. 先提取图像的4种分形维数作为纹理特征, 再通过组合不同分形维数特征应用于支持向量机(SVM)进入样本训练阶段. 将分类错误率最低的特征组合作为分类器的特征向量, 应用于测试阶段的分类, 提高分类器的分类精度. 实验结果表明, 该方法具有较好的推广性, 为图像特征组合提取提供了新途径.     

基于XGBoost的新零售优惠券使用行为预测

为实现新零售优惠券的定向投放,提出了对用户优惠券使用行为预测的模型.该文采用XGBoost算法,突破了以TAM模型(技术接受模型)为基础解释个人优惠券使用意愿的传统方法,并基于口碑网的真实交易数据进行了特征提取和用户使用行为建模.在K折交叉验证之后通过变量重要性评分,确定了对消费者使用决策贡献度较高的特征,并与随机森林和GBDT(梯度提升决策树)算法进行了AUC(Area under curve)准确率的对比.该研究证明了基于XGBoost的集成学习算法在优惠券使用行为预测中的有效性,对新零售精准营销有重要的现实意义.     

基于深度学习特征提取和GWO-SVM滚动轴承故障诊断的研究

针对传统滚动轴承故障诊断的方法需要人为构造算法提取并选择故障特征,孤立地对待特征提取和特征选择,提出了应用卷积神经网络(Convolutional Neural Networks, CNN)和灰狼优化算法(Grey Wolf Optimizer,GWO)的支持向量机(Support Vector Machine, SVM)相结合的故障诊断新方法.首先将原始信号转化为尺度谱图,然后选择预训练好的CNN模型AlexNet对信号的尺度谱图进行特征提取,再通过主成分分析法(Principal Component Analysis,PCA)对得到特征数据进行降维,最后将归一化后的数据输入到灰狼优化算法的SVM分类器中,从而实现轴承健康状态的故障诊断.使用美国凯斯西储大学提供的轴承数据进行仿真实验,结果表明所提方法能够自适应提取合适的特征,并有较高的分类准确率.     

基于伪F统计量的属性特征降维方法研究

提出了一种基于伪F统计量的特征选择算法(FSPF)来对属性特征进行降维,评价输入特征的重要性程度.通过特征重要性累积比率,获取了最具有区分能力的特征组合.利用加权K最近邻、随机森林、人工神经网络、决策树、梯度提升与支持向量机,对真实数据集进行了分类.实验结果表明:经过FSPF特征选择算法进行变量重要性筛选后,可以较为有效地提高目前主流机器学习方法的分类预测性能.     

基于极端梯度提升算法的滑坡易发性评价模型

机器学习用于地质灾害的易发性评价分析是当前研究的热点之一,不同的学习模型其效果不尽相同。为合理有效地评价滑坡地质灾害的易发性,依托浙江省温州市飞云江流域地质灾害的调查数据,应用地理信息系统（Geographic Information System,GIS）技术提取坡度、坡向、坡形、地表覆盖、地形湿度指数（Topographic Wetness Index,TWI）、极端小时降雨量、内摩擦角、黏聚力、容重与风化层厚度10个滑坡致灾因子,基于极端梯度提升算法（eXtreme Gradient Boosting,XGBoost）构建模型用于滑坡地质灾害的易发性多分类评价。模型结果通过多分类混淆矩阵进行评价,并与支持向量机（Support Vector Machine,SVM）模型进行精度比对分析。研究结果显示,训练后的XGBoost 算法模型对测试集中极高易发区识别的召回率和精确率分别达到了97.92%和98.06%,F1值达到97.99%,均优于SVM,可为研究地区的滑塌地质灾害易发性评价提供模型支持。     

基于可解释机器学习模型的南宁市野火灾害易发性研究

野火易发性评价对野火灾害的前期预防以及灾害管理决策的制定至关重要。目前野火易发性的研究主要集中于提高模型的预测精度,而往往忽略对模型的内部决策机制进行解释分析。为此,构建了一种基于可解释机器学习的野火易发性模型,并详细分析了各因子对野火易发性预测结果的影响。以南宁市历史野火样本为基础,综合考虑样本的空间分布特征,选取高程、归一化植被指数(normalized difference vegetation index, NDVI)、年均降雨和平均气温等18项评价因子,利用分类和回归树(calssification and regression tree, CART)、随机森林(random forest, RF)、轻量的梯度提升机(light gradient boosting machine, LGBM)和极致梯度提升(extreme gradient boosting, XGBoost)4种机器学习模型构建野火易发性预测模型。基于性能最优的易发性模型,运用沙普利加和解释(shapley additive explanations, SHAP)方法完成特征全局性解释、依赖性分析和典型样本...     

基于FSWT和GBDT的癫痫脑电信号分类研究

为解决癫痫脑电信号分类类别以及分类精度不足的问题,使用频率切片小波变换对脑电数据进行信号重构,得到5 个频段的节律信号,再利用非线性指标近似熵和线性指标波动指数共同作为癫痫信号的特征值,充分提取信号的特征信息。随后使用梯度提升树算法对得到的特征数据集进行多分类。实验表明,该算法对癫痫脑电信号的三分类识别率为98． 4%。较传统Adaboost 算法,该方法采取了GBDT( Gradient Boosting Decision Tree) 作为分类算法,成功利用更多的数据集,并且使得分类精度更高。     

进化算法优化GBDT的带钢卷取温度预测

针对B钢厂2250 mm热轧生产线层流冷却系统卷取温度预报命中率低的问题,采用差分进化算法优化后的梯度提升决策树建立带钢卷取温度预测模型(DE-GBDT),并对DE-GBDT预测模型与3个基础预测模型(梯度提升决策树(GBDT)、支持向量机(SVM)、小波神经网络(WNN)预测模型)以及差分进化算法优化后的支持向量机(...     

基于认知诊断与XGBoost的学生表现预测研究

针对认知诊断方法未考虑学生的答题共性和矩阵分解方法未考虑学生知识点掌握个性的问题，提出一种结合认知诊断与XGBoost(eXtreme Gradient Boosting)的学生表现预测方法(PRNCD-XGBoost):首先，根据试题中知识点之间的共现关系探索知识点之间的相似性，并结合试题-知识点二分图挖掘试题中各知识点所占权重，从而进行认知诊断；然后，用认知诊断阶段的预测结果对历史得分矩阵进行填充；最后，采用非负矩阵分解方法提取出包含认知诊断因素的学生答题共性特征进行得分预测。并在ASSISTments2009和ASSISTments2017数据集上，将PRNCD-XGBoost方法与PMF、NeuralCD、PR-NCD、NMF-XGBoost、MNMF-XGBoost等方法进行对比实验。实验结果表明：PRNCD-XGBoost方法在学生表现预测方面具有更高的预测精确度。     

基于多模型融合的互联网信贷个人信用评估方法

针对网络个人信用有效评分缺失的问题,分析了互联网信贷个人信用评估数据的特点,选用支持向量机、随机森林和XGBoost分别建立了信用预测模型,并对3种单一模型进行了投票加权融合. 基于互联网信贷数据的特点,在特征工程中对样本集特征进行了离散化、归一化和特征组合等处理. 为增加对比,对实验数据集进行了FICO评估核心Logistic回归分析. 实验结果表明:3种单一算法性能均优于Logistic回归,XGBoost表现优于支持向量机和随机森林模型,预测相对准确;投票融合模型的表现比单一模型更好,模型分辨能力更优秀,预测精度更高,更适用于互联网信贷个人信用评估.     

基于改进XGBoost不平衡围岩超前分类方法的隧洞工程施工仿真研究

为了在围岩类别不平衡的条件下实现围岩类别有效判断,进而提高隧洞工程施工仿真准确性,基于改进极限梯度提升(XGBoost)不平衡围岩超前分类方法进行隧洞工程施工仿真研究。采用自动邻域确定合成过采样(AND-SMOTE)方法优化围岩类别不平衡性,并采用改进的XGBoost不平衡围岩超前分类模型进行围岩超前分类,进而优选仿真参数,提高仿真结果的准确性,其中,以模型交叉验证平均准确率为目标,采用哈里斯鹰优化(HHO)算法自动优化XGBoost超参数,以提高围岩分类精度。工程应用表明,相比未改进的XGBoost不平衡、KNN、SVC等6个模型,改进的XGBoost不平衡围岩超前分类模型分类精度更高;考虑围岩类别不平衡性后,改进的XGBoost不平衡围岩超前分类模型分类精度提高了8.6%;此外,基于围岩超前分类的隧洞工程施工仿真结果与实际进度的相对偏差相比传统仿真降低了11.3%,更符合工程实际。     

融合矩阵分解和XGBoost的个性化推荐算法

针对传统的协同过滤推荐算法中评分矩阵过于稀疏和算法准确度不高的问题,提出一种融合矩阵分解和XGBoost算法的推荐算法(MFXGB,Matrix Factorization XGBoost),其特点是利用SVD++算法(SVD,Singular Value Decomposition)对用户项目评分矩阵进行填充,避免过多的缺失值对算法精确度的影响,再利用XGBoost(eXtreme Gradient Boosting)算法训练有监督的模型用于预测用户评分.为了克服计算成本过高的困难,提出利用K-均值聚类方法进行特征提取用于训练XGBoost模型.将MFXGB算法应用于MovieLens数据集进行实验分析,结果显示,MFXGB算法的推荐精确度比传统的3种方法分别提高了8.91％、10.18％和11.79％,效果明显优于传统的推荐算法.     

基于变量分析和粒子群优化加权随机森林的交通事件检测方法

为了提高高速公路交通事件检测的效果,首先从交通流基本参数、交通流组合参数、不同区间交通流参数对交通事件参数的变化进行全面的分析,构建交通事件初始特征变量集,并利用AdaBoost算法、梯度提升树(GBDT)算法、随机森林(RF)算法对初始特征变量进行筛选,通过三种方法综合比较分析得出最终的重要变量.对随机森林中的决策树进行加权计算,构建加权随机森林,并利用粒子群(PSO)算法优化加权随机森林模型.通过采集的高速公路交通事件数据进行对比分析,实验结果表明,在交通事件初始特征变量中筛选出重要变量,对检测的精度有所提高,加权随机森林的检测性能也要优于传统的支持向量机(SVM)和随机森林.     

考虑建成环境交互影响的共享单车需求预测

共享单车的发展有利于交通的节能减排绿色发展。建成环境是影响共享单车出行需求的重要因素,然而很少有学者探究考虑其交互作用。为了准确分析建成环境中各影响因素的交互作用以达到精确预测共享单车出行需求的目的,本文使用了深圳市共享单车出行数据、兴趣点数据（point of interest,POI）、路网数据和公交线路数据等多源数据,采用梯度提升决策树(Gradient Boosting Decision Tree,GBDT)模型预测共享单车出行需求,并与BP(Back Propagation)神经网络模型预测结果进行比较;最后借助SHAP(SHapley Additive explanation)方法解释GBDT模型中各种影响因子对共享单车出行需求产生的影响,并分析各影响因素及其交互作用。实验结果表明：GBDT模型预测结果平均绝对误差为0.683,均方根误差为0.728,较BP神经网络模型预测准确性更高;通过SHAP方法发现自行车道密度、公交站点数等交通属性因素对于共享单车出行需求作用明显,土地利用中土地利用混合度不是简单线性作用且不同POI间存在复杂交互关系。可见通过借助GBDT模型和SHAP方法可以用来共享单车出行需求预测以及影响因素分析,从而为共享单车发展提出改善建议。