基于双支持向量机的大样本分类算法

针对支持向量机(Support Vector Machine,SVM)处理大规模样本分类的学习效率降低问题,提出两阶段学习的支持向量机算法。该方法首先在正负类分别进行无监督聚类,提取各个聚类质心组成约简训练集,进行初次SVM训练;然后,根据初次训练结果选取边界样本集,参与第二次SVM训练。在UCI数据集上的实验结果表明,所提方法在保持分类泛化性能的同时,提高了模型的训练速度。     

改进的并行SVM回归算法

针对目前SVM回归算法在大样本情况下,学习效率低、精度不高的问题,提出了基于Kmeans聚类的并行SVM回归算法。在Hadoop框架中,先对训练样本行进并行聚类,然后针对聚类后的不同簇,构造相应的SVM回归模型,使用顺次最小优化算法求解各模型参数。预测时,选择与待预测样本距离最近簇的对应SVM回归模型进行预测。实验验证了文中算法的可行性和有效性。     

H-SVMs的构造方法

通过推导H-SVMs推广能力的模型,得出H-SVMs的推广能力与样本类别数、空间分布、容量、树结构等有关,且保证高优先级结点的推广性能是提高H-SVMs性能的有效途径。根据分析结果,提出了一种基于SVM最大间隔分类、最小间隔聚类构造H-SVMs的新方法。利用SVM的分类间隔作为分类、聚类指标,通过Top-down和Bottom-up两种途径混合构造H-SVMs,其中,最大间隔分类采用Top-down策略,在各结点依次选择最大间隔的SVM,将输入样本按类别分为2类;最小间隔聚类采用Bottom-up策略,在各结点依次选择最小间隔的SVM,将输入样本按类别两两聚类。从UCI数据库中选取多类数据进行测试,实验结果验证了该方法的有效性,说明所构造的H-SVMs具有较好的、稳定的推广性能。     

基于AP算法支持向量机的设计与应用

设计一种基于AP聚类算法和SVM分类器相融合的新的混合分类器, 使用AP聚类算法优化数据集, 得到了高质量、 小样本的SVM分类器训练集. 实验结果表明: 与传统的SVM分类器相比, 混合分类器具有更高的分类精度; 在心脏病预测上, 该分类器的效果较好.     

基于电力负荷曲线的设备识别方法

电力设备的负荷曲线随着时间而变化,其本质上是时间序列数据.为此提出了一种新的通过负荷曲线识别电力设备的方法,该方法在多个粒度划分出的负载曲线上使用卷积神经网络作为基分类器构造出一个集成学习器来提高分类精度.首先我们对原始数据进行不同粒度的划分,得到若干不同的新数据集.其次使用这些新的数据集训练不同的基学习器,并根据验证集上的精度得到不同基学习器的权重.将测试样本按照相同的粒度划分方式得到不同的测试数据集,使用不同的基分类器对这些测试数据集进行测试,得到对应的预测标签.最后对不同基分类器预测的标签进行加权,并选出权重最大的那个标签作为预测标签.在实际的电力负荷数据上将该模型与单个CNN模型进行对比,实验结果表明,该模型具有更高的设备识别精度.     

基于BS＿Bagging-cLightGBM模型的电动汽车故障预测方法

针对因电动汽车故障数据样本类别不平衡引起的机器模型分类性能欠佳、故障查全率低的问题，本文提出一种以LightGBM为基学习器改进的Bagging集成电动汽车故障预测模型：在Bagging集成学习中使用Borderline＿SMOTE方法对训练集重新采样，改善训练子集的数据不平衡程度，避免小类样本信息缺失；将权重系数和正则化项嵌入LightGBM基学习器的损失函数中，提高训练中小类样本的错分类代价。实验结果表明，该模型可有效提高故障查全率、宏平均和AUC值，其中AUC值达到0.898 4，故障样本的查全率为0.808 3，在电动汽车不平衡数据集上的故障分类性能显著优于传统单一模型和其他对比算法。     

一种基于多学习器标记的半监督SVM学习方法

传统的支撑向量机是一种有监督学习方法,为了提高其泛化能力,提出了一种新的基于多学习器标记的半监督SVM学习方法。该方法将训练集分为有标记样本和无标记样本两个集合,通过对无标记样本进行分别标记,不断修正有标记样本集规模,从而提高SVM的泛化性能。在中文电子邮件过滤数据集上的实验结果证明了该方法的可行性和有效性。     

集群SVM大规模数据分类算法

为了提高SVM在大规模数据集上的训练效率和检测精度,对训练数据预处理后进行无监督聚类,通过一定规则选取对训练SVM有用的样本向量,并结合改进的AdaBoost算法来增强SVM在大规模数据的分类和泛化能力,最后通过Kdd Cup 99数据进行实验验证算法性能.     

基于贝叶斯模型组合的随机森林预测方法

为了能够精准可靠地估计太阳能辐照度,本文提出一种基于贝叶斯模型组合的随机森林算法用于太阳能辐照度预测.首先,引入K-means聚类和K折交叉验证将气象数据训练集生成多个训练子集,以增加训练子集的多样性并保证均匀采样.其次,将随机森林作为基学习器建立集成学习预测模型,导入训练子集并训练各个随机森林.之后,依据各个随机森林在验证集上的预测性能,采用贝叶斯模型组合算法制定组合策略.个体随机森林在测试集上的预测值经过模型组合策略得到最终输出.最后,基于气象实测数据建立仿真实验,并引入其他四种预测方法进行对比仿真研究,通过实验结果验证了文中所提出预测方法在太阳能辐照度预测问题中的准确性和可靠性.     

基于优化AP-SVR模型的能源消耗预测

针对传统SVR(Support Vector Regression)及其相关改进模型在不同时间阶段的能源消耗样本数据具有差异较大的不同函数规律或分布特征的条件下,难以进行合理预测这一问题,提出了基于优化AP(Affinity Propagation)聚类算法的AP-SVR模型。首先,在滚动预测的算法框架下建立了运用能源消耗累积规律进行预测的模型,并对AP聚类算法进行了优化;其次,结合优化AP聚类算法构建了最优化训练集,并运用SVR得到预测结果。算例分析表明,AP-SVR模型可有效识别样本训练集中能耗数据累积规律的差异,将聚类为同一类别数据作为训练集的条件下,SVR的拟合精度得到明显提升。通过多种模型计算效果的比较发现,剔除不同类型数据后的训练集明显更加适合于SVR模型的预测,在降低预测误差和改善预测结果可信度等方面优化了模型预测效果。     

基于SVM的多类分类集成

为了解决单个SVM可能产生的泛化能力恶化问题以及当SVM采用一对多组合策略解决多类分类时可能产生的误差无界情况,本文采用Bagging方法构造了一个基于SVM的多类分类集成模型,利用MIT KDD 99数据集进行仿真实验,通过实验探讨了其中的两个参数——训练样本数和单分类器个数对集成学习效果的影响,并将其与采用全部样本进行训练及部分样本进行训练的单分类器检测进行了比较。结果表明：集成学习算法能够有效降低采用全部样本进行训练所带来的计算复杂性,提高检测精度,而且也能够避免基于采样学习带来检测的不稳定性和低精度。     

基于粒子群优化和SOM网络的聚类算法研究

利用改进的粒子群优化算法(PSO)的优化性能,结合SOM网络模型,提出了一种基于粒子群优化算法和SOM网络的聚类算法(PSO/SOM),使用PSO对SOM网络进行训练来代替SOM的启发式训练方法.将PSO/SOM算法用于对Wine和Iris等数据集进行模式聚类识别,可以得到较优的聚类识别效果.相比标准SOM算法能有效提高网络映射的准确程度,降低网络的量化误差和拓扑误差,同时也降低了错聚率,实验结果验证了本算法的有效性.     

基于信息增益优化支持向量机模型的煤矿瓦斯爆炸风险预测

为了探索基于样本数据的煤矿瓦斯爆炸风险预测,依据本质安全理念构建了预测瓦斯爆炸风险的指标集,结合机器学习与特征优化算法提出了信息增益(information gain,IG)与支持向量机(support vector machine,SVM)的组合模型,通过对优化后的14种特征信息的分类学习,完成对风险未知样本的预测任务.以全国100家煤矿企业为研究对象,使用不同模型分别预测瓦斯爆炸风险并全面分析和比较,实验结果表明,经过IG优化后的SVM模型预测正确率达到了95.45％,相对于单一SVM模型提高了9.09％,同时高于其他预测模型,证明了该组合模型在瓦斯爆炸风险预测领域的优越性.     

一种新的动态SVM选择集成算法

针对动态选择集成算法存在当局部分类器无法对待测样本正确分类时避免错分的问题,提出基于差异聚类的动态SVM选择集成算法。算法首先对训练样本实施聚类,对于每个聚类,算法根据精度及差异度选择合适的分类器进行集成,并根据这些分类器集成结果为每个聚类标定错分样本区,同时额外为之设计一组分类器集合。在测试过程中,根据待测样本所属子聚类及在子聚类中离错分样本区的远近,选择合适的分类器集合为之分类,尽最大可能的减少由上一问题所带来的盲区。在UCI数据集上与Bagging-SVM算法及文献［10］所提算法比较,使用该算法在保证测试速度的同时,能有效提高分类精度。     

基于多目标优化集成学习的短期太阳辐射预测

准确预测太阳辐射对于高效利用光伏能源具有重要意义,为提高太阳辐射预测精度,提出一种新的基于水平精度和方向精度的多目标优化集成学习框架.首先,利用奇异谱分析(Singular Spectrum Analysis,SSA)方法将太阳辐射数据分解成一系列信号组;然后,运用带精英策略的非支配排序遗传算法(NondominatedSortingGeneticAlgorithm,NSGAII)优化的最小二乘支持向量机(LeastSquaresSupportVector Machine, LSSVM)对每个分量信号进行预测;接着,用聚类方法将各分量信号进行样本聚类;最后,运用NSGAII-LSSVM方法分别对样本结果进行集成得到预测结果.以意大利2017年太阳辐射数据作为仿真数据,将该模型与LSSVM、单目标优化的集成学习模型等8个基准模型进行对比.研究结果表明,所提出的多目标优化集成学习框架具有更好的优越性,在方向精度、水平精度和稳健性上均具有很好的效果.     

基于支持向量机的云计算资源负载预测模型

为了准确描述云计算资源负载的动态变化趋势,设计了云计算资源负载预测模型。采用混沌分析算法对云计算资源负载的时间序列进行处理,构建云计算资源负载预测的学习样本。采用支持向量机(SVM)建立云计算资源负载的预测模型,并设计了组合核函数,以提高SVM的学习能力。选择灰色模型、反向传播(BP)神经网络、径向基函数(RBF)神经网络、RBF核函数的支持向量机进行云计算资源负载预测的仿真对比实验。结果表明,对单步云计算资源负载预测时,该文模型的预测精度为94.85%,仅低于灰色模型的95.85%;对多步云计算资源负载预测时,该文模型的预测精度最高,为89.17%。     

坝基灌浆量预测ISSA-Stacking集成学习代理模型研究

灌浆量预测对坝基灌浆施工具有重要意义．由于灌浆工程隐蔽且复杂,传统方法难以实现准确高效的灌浆量预测．代理模型是一种能够建立影响因素与响应值之间近似关系的快速求解方法,然而单一代理模型的预测稳定性和准确性较低,组合代理模型仅将单一模型结果进行加权平均,预测精度仍有待提高．为解决上述问题,本文提出一种ISSA-Stacking集成学习代理模型新方法用于灌浆量预测研究．首先,针对灌浆量预测具有数据量小、影响因素与灌浆量之间非线性关系复杂且预测不确定性较大等特性,基于Stacking集成学习策略,选取在小样本预测中表现优越的支持向量回归(SVR)、具有良好非线性拟合能力的BP神经网络(BPNN)和预测泛化性能及稳定性高的随机森林(RF)等算法作为基学习器,采用自适应学习和不确定性处理能力强的自适应神经模糊推理系统(ANFIS)作为元学习器以集成上述机器学习算法的优势,构建具有更优预测性能和泛化能力的Stacking集成学习方法作为代理模型;其次,为进一步提高模型预测精度,采用混沌理论和Lévy飞行策略改进的麻雀搜索算法(ISSA)对集成学习代理模型进行参数同步优化;最后,将所提ISSA-Sta...     

若干评价准则对不平衡数据学习的影响

为解决绝大部分传统的以精度准则为优化目标而获得的分类器不适于不平衡数据学习(IDL)的问题,文中通过在支持向量机(SVM)模型上进行"元学习",研究了精度、平衡精度、几何平均、F1得分、信息增益、AUC(ROC曲线下方图面积)以及文中新提出的GAF和GBF等评价准则对IDL的影响.在16个来自UCI的不平衡数据集上进行了仿真实验.对实验结果的统计分析表明:不同准则对分类器性能的影响有显著差异;即便是对于先进的学习方法支持向量机(SVM)而言,若以精度准则最大化选择分类器,那么得到的SVM分类器也容易偏向预测多类;通过在其他准则上优化,能输出纠偏了的SVM分类器,它们的整体性能更好,尤其是在预测少类能力方面;在GAF以及GBF准则上优化所得的SVM分类器具有稳定且良好的性能.     

基于集成学习的用户信用卡违约预测模型研究

用户信用卡违约预测任务有助于银行等金融机构平衡经济风险与经济利益,对于银行信用卡业务的风险管控具有重要作用。针对用户信用卡违约预测问题,提出了一种基于集成学习的预测模型,有异于传统集成学习中的弱学习器。该模型采用集成模型和神经网络模型作为基学习器,从而提升模型整体的预测效果。首先通过预处理提取用户信用卡数据集的相关特征,然后分别采用优化后的决策树、随机森林、GBDT、XGBoost、CatBoost和SPE六种机器学习模型与神经网络模型进行并行训练和预测,最后通过加权软投票法集成基学习器结果并输出最终预测结果。结果表明,相对于基学习器,该模型在各项评估指标上均有所提升,且拥有更好的模型泛化能力。     

基于预报因子聚类分级的日径流预报深度信念模型及应用

径流预报是水库运行调度的重要决策依据,提高入库径流预报精度,对水库优化调度和水资源高效利用具有重要意义.本文提出一种基于大样本数据分级策略的深度信念网络模型(Deep Belief Networks,DBN),以龙羊峡入库径流预报为例,采用Fuzzy C-means(FCM)聚类方法,将总样本训练集分为不同训练样本子集;不同样本子集下,对不同预报因子(只考虑降雨、考虑不同时期的降雨及同时考虑降雨及前期径流),分别建立DBN模型和人工神经网络模型(Artificial Neural Network,ANN),分析样本分级和考虑不同因子情况下不同模型的预报结果.结果表明:与不考虑预报因子分级的预报模型相比,基于时间序列聚类的预报模型显著提高了径流预报的精度;通过FCM聚类,将样本分为3类,考虑降雨及前期径流作为预报因子进行分级时,比只考虑降雨、考虑不同时期的降雨时建立的预报模型的预测精度更高.用该模型进行龙羊峡水库入流日径流预报,提高了预报精度,可为龙羊峡水库调度提供决策支持.