改进Stacking算法在妊娠期糖尿病预测中的应用

本研究提出基于妊娠早期体检、基因信息,结合集成学习的妊娠期糖尿病预测分类方法.设计了基于Stacking框架的改进模型ACS-Stacking.ACS-Stacking模型将基分类器输出的类别概率值作为基层输出结果,元层使用GBDT模型学习组合基层输出的类别概率结果,拓展了算法的层次结构.在基分类器层与元分类器层之间加入基分类器筛选层,通过CFS算法估计不同分类器集合中个体分类器准确性与多样性的权衡值,筛选出最佳基分类器集合,实现基分类器的自适应选择.研究结果表明,该模型F1值较单一模型提高约9%,较Stacking模型提高约7%,具有较好的预测准确性和稳定性.     

基于特征工程的集成学习短期光伏功率预测

短期光伏功率预测对于电网稳定运行具有重要意义。为了解决单一模型预测精度不佳的情况,提出了一种在Stacking集成学习框架下融合Bagging和Boosting算法的短期光伏功率预测模型。首先,引入Copula函数的相关性分析和轻量级梯度提升机的特征贡献度计算来进行特征筛选;然后,选取泛化性能较优的模型作为基学习器,并采用贝叶斯优化算法来对基学习器模型参数进行优化,最后,定义一个超级学习器,采用5折交叉验证,将基学习器与元学习器封装到超级学习器中训练。算例结果表明,在不同季节和不同天气条件下,Stacking模型相较于单一模型有着更高的预测精度。     

基于Stacking特征增强多粒度联级Logistic的个人信用评估

主要针对广受关注的P2P网贷信用评估问题，利用机器学习方法提高申请人网贷违约预测准确率，研究出基于Stacking特征增强多粒度联级Logistic方法及其应用.所提分类器是一种混合模型，结合了Stacking集成学习和联级Logistic学习的思想.首先，通过网格搜索技术分别建立XGBoost, Catboost, LightGBM,AdaBoost以及Gradient Boosting模型，并筛选出适合的基评估器作为Stacking集成的初级学习器，logistic模型作为次级学习器，构建基于Stacking的多粒度扫描器，生成预测结果作为元特征，拼接成新特征数据.其次，通过新特征数据以及元特征在每级Logistic上的特征增强建立联级Logistic Regression模型，并且与现有的单一集成学习器和各基评估器在3个不同的P2P网贷信用评估数据集上进行对比.实验结果表明，通过AUC、准确率等指标对其进行评价，相比于各基评估器以及其他单一集成分类器，基于Stacking增强多粒度联级Logistic模型有较高的准确率，预测效果更优.     

坝基灌浆量预测ISSA-Stacking集成学习代理模型研究

灌浆量预测对坝基灌浆施工具有重要意义．由于灌浆工程隐蔽且复杂,传统方法难以实现准确高效的灌浆量预测．代理模型是一种能够建立影响因素与响应值之间近似关系的快速求解方法,然而单一代理模型的预测稳定性和准确性较低,组合代理模型仅将单一模型结果进行加权平均,预测精度仍有待提高．为解决上述问题,本文提出一种ISSA-Stacking集成学习代理模型新方法用于灌浆量预测研究．首先,针对灌浆量预测具有数据量小、影响因素与灌浆量之间非线性关系复杂且预测不确定性较大等特性,基于Stacking集成学习策略,选取在小样本预测中表现优越的支持向量回归(SVR)、具有良好非线性拟合能力的BP神经网络(BPNN)和预测泛化性能及稳定性高的随机森林(RF)等算法作为基学习器,采用自适应学习和不确定性处理能力强的自适应神经模糊推理系统(ANFIS)作为元学习器以集成上述机器学习算法的优势,构建具有更优预测性能和泛化能力的Stacking集成学习方法作为代理模型;其次,为进一步提高模型预测精度,采用混沌理论和Lévy飞行策略改进的麻雀搜索算法(ISSA)对集成学习代理模型进行参数同步优化;最后,将所提ISSA-Sta...     

考虑环境因素的电动汽车充电站实时负荷预测模型

为了减少电动汽车大规模集成到电网造成的不利影响,提出了一种能够实现充电站充电负荷精准预测的方法。该方法利用LightGBM（light gradient boosting machine）与XGBoost（eXtreme gradient boosting）模型构建线下?线上组合模型。考虑充电负荷、时间、温度、天气等历史数据,利用LightGBM模型初步建立充电负荷线下预测模型;基于XGBoost模型,以线下预测模型输出负荷和实际负荷的误差为优化目标,实时变化的交通流量为协变量,建立线上预测模型,并对初步预测结果进行误差修正。某市实际充电站预测结果表明,相比于随机森林（RF）、LightGBM模型、XGBoost模型、多层感知机（MLP）以及LightGBM?RF组合模型,该组合模型具有更高的预测精度,同时可以准确预测不同充电站的实时充电负荷。     

计及机理机制的Stacking集成光伏发电预测

准确地光伏预测对电力调度、容量分析和机组组合至关重要。现有的数据驱动预测算法在计算速度和预测精度上有一定的提升,但未能考虑光伏发电的内在机理,存在泛化的风险。针对上述问题,提出了一种基于Stacking框架的机理模型和数据驱动结合的预测模型。其中,光伏发电机理模型将嵌入Stacking框架一层预测结构,构成基于长短期记忆神经网络(long short-term memory, LSTM)、极度梯度提升树(extreme gradient boosting, XGBoost)和机理模型的并行预测学习器。机理模型将光伏发电限制在一个合理的范围内,作为数据驱动模型的预测约束。所提出的模型能够从机理模型中提取有用的固有信息,并利用数据分析的能力提取历史数据中的非线性关系。基于安徽省某地区实际数据分析,所提模型相比传统数据驱动方法具有更高的精度。     

基于近邻成分分析的短期风电功率集成预测

针对短期风电功率预测关键气象因素影响程度的差异和单一模型预测精度不足的问题,提出一种基于近邻成分分析(neighborhood components analysis, NCA)特征加权和Stacking集成预测的短期风电功率预测模型。考虑气象特征对风电功率影响程度不同,利用NCA对气象特征进行加权,将加权特征作为模型输入,强化关键特征的影响程度;在此基础上,构建多个基预测器预测风电功率,并利用结合器将预测结果融合,建立Stacking集成预测模型。算例分析表明,以加权特征作为输入的Stacking集成预测模型具有更高的短期风电功率预测精度。     

基于熵值法改进Stacking的文本情感分析

在情感分析研究中,使用Stacking算法进行情感分析时基学习器的选择是至关重要的。传统的Stacking算法仅仅只是将不同学习器结合起来,没有区分它们之间的不同,同时也不能反映初级学习器的实际预测情况,针对此问题,基于熵值法改进Stacking算法进行文本的情感分类。首先,使用熵值法确定单一分类器的性能指标权重,将指标值的权重进行加权求和获得不同模型的综合得分,通过综合得分来选择性能最好的基学习器组合;接着,由于基模型中的各个分类器性能的不同,将基学习器训练后的预测结果赋予不同的权重,输入到次级学习器当中;最后再利用次级学习器进行训练并预测情感倾向。实验结果表明,基于熵值法改进Stacking模型优于传统的Stacking模型,说明基学习器的选择和重要程度对情感分类具有一定帮助,为之后文本情感分析奠定一定的基础。在情感分析研究中,使用Stacking算法进行情感分析时基学习器的选择是至关重要的。传统的Stacking算法仅仅只是将不同学习器结合起来,没有区分它们之间的不同,同时也不能反映初级学习器的实际预测情况,针对此问题,基于熵值法改进Stacking算法进行文本的情感分类。首先,...     

基于Stacking融合的工程造价预测组合模型

为了快速准确地进行工程造价预测，本文收集高层住宅工程造价历史数据，利用相关性系数法对定量指标进行约简，运用Python构建了以随机森林、XGBoost和岭回归作为初级学习器，岭回归作为元学习器的Stacking集成学习的融合模型。结果表明：基于Stacking融合模型预测精度较高，结果稳定，平均绝对误差在5%以内，有助于项目建设前期的造价预测。     

基于贝叶斯优化注意力机制LSTNet模型的短期电力负荷预测

为更充分挖掘多元负荷序列间的有效信息,从而提高预测精度,提出了一种集成贝叶斯超参数优化算法、注意力机制的长期和短期时间序列网络（long and short-term time-series network with attention,LSTNet-attention）以及误差修正的短期负荷预测模型。首先,构建基于贝叶斯优化的LSTNet-attention模型进行初步预测,利用贝叶斯算法优化模型多个结构参数,降低人工设置参数的随机性,并通过注意力机制合理分配特征权重;然后,通过基于贝叶斯参数优化的极端梯度提升算法(extreme gradient boosting,XGBoost)误差修正模型来挖掘初步预测误差序列中潜在、未被利用的有效信息,进行误差预测和修正,进而得到最终的预测结果。通过使用澳大利亚某地真实负荷数据进行实证分析,实验结果表明,所提预测模型相较于其它模型具有更好的预测效果,可为负荷预测等工作提供一定参考。     

融合注意力机制的煤层气产量动态预测

为了提升煤层气产量的预测精度,提出融合注意力(Attention)机制并结合卷积神经网络（convolutional neural networks,CNN）和长短期记忆神经网络（long short term memory,LSTM)的煤层气产量动态预测模型。利用随机森林变量筛选方法,确定井底流压、动液面高度、套压、冲次为排采过程中影响煤层气产量的主控因素;利用CNN信息提取优势,提取煤层气排采数据的特征向量,并将特征向量作为LSTM网络的输入;再将LSTM隐含层融合注意力机制提取重要信息权重,有效解决信息长期依赖性和信息丢失。实验结果表明：融合注意力机制的CNN-LSTM煤层气产量动态预测模型各方面均表现较优。具体表现为：1. 模型预测性能较好,利用不同模型对比预测,改进后的煤层气产量预测模型精度最高,比标准的LSTM预测精度提升了3%~4%;2. 泛化性能较优,预测同一区块不同生产天数的6口煤层气井产量时,预测60天日产气量的平均相对误差均小于5%,预测200天日产气量的平均相对误差均小于8%。     

基于机器学习的数据库小数据集并行集成方法

为了解决传统方法不能按照训练样本量设计最优网络模型,集成效率低的弊端,通过机器学习方法研究数据库小数据集并行集成方法。机器学习选用朴素贝叶斯算法,依据条件独立性假设,通过计算目标先验概率,采用贝叶斯定理求出其后验概率,对后验概率进行比较,完成决策分类,对基分类器进行训练,把不同朴素贝叶斯基分类器当成集成分类器,在原始数据库上对基分类器进行训练,依据分类结果对数据库中小数据集样本分布进行调整,将其当成新数据集对基分类器进行训练,按照基分类器的表现,通过加权将其组合在一起,产生强分类器,实现对数据库小数据集的集成处理。通过MapReduce并行处理完成并行数据集成,输出并行集成结果。通过仿真实验与实例分析验证所提方法的有效性,结果表明:所提方法在训练样本规模相同的情况下有最高的分类精度和最小的波动,在不同集成规模下的分类精度一直最高,波动最小;所提方法可达到数据的最优集成,数据失效比降低,合成比提高。可见所提方法集成精度高,计算稳定性强,集成效果好,效率优。     

考虑竞争的电影首映日票房集成预测模型研究

电影首映日票房预测对该日排片、后续放映日票房及总票房有显著影响。在构建考虑竞争的电影首映日票房预测变量集的基础上,建立首映日票房集成预测模型。首先使用多元线性回归(multiple linear regression, MLR)、支持向量回归(support vector regression, SVR)、套索回归（Least absolute shrinkage and selection operator, Lasso）和极端梯度提升（Extreme Gradient Boosting, XGBoost）等算法建立基学习器,随后使用XGBoost算法作为原学习器构建堆栈集成预测模型,最后利用收集到的数据进行对比实验。实验证明,加入竞争变量的电影首映日票房预测变量集适用于首映日票房预测;相比单一模型,提出的集成预测模型的准确性、泛化性能和稳定性均有提升,相比较传统预测方法对首映日票房预测更准确。提出的集成预测模型有助于提升首映日票房排片的有效性。     

计及源荷双侧不确定性的综合能源系统优化配置

以源–网–荷–储的综合能源系统为研究对象,同时考虑源侧风光出力及负荷预测误差的双重不确定性对系统优化配置的影响。为提高系统的稳定性与经济性,以总成本最小为目标,采用价格需求响应中的分时电价研究策略。首先选用模糊聚类方法对用户负荷进行时段划分,然后采用机会约束将源荷双侧不确定性转化为确定性,再对供需平衡及设备约束的综合能源系统构建系统优化配置模型,最后对不同场景进行算例仿真。仿真表明所提出的定价机制具有削峰填谷作用,且不同场景下的优化配置有显著差异,验证了所提方法的有效性。     

行星混动客车两挡机械自动变速箱机理建模

单行星排的简单行星混动系统配合两挡AMT变速箱可以实现客车更为理想的整车行驶动力性及经济性,但动力源各异动态响应特性与变速箱的分段动力退出以及介入特性的相互影响,使得有效地切换系统工作模式较为困难。为给混动客车的模式切换优化控制提供准确可靠的仿真基础,文中从AMT变速箱机理出发,通过Simulink分别建立换挡执行机构模型、同步器模型、变速箱输入轴和输出轴模型,并将上述子模型集成,最终得到两挡AMT变速箱机理模型。通过给定车速和挡位信号进行仿真,仿真结果表明,所搭建的两挡AMT变速箱模型能够准确地反映出升挡及降挡过程中变速箱内部动力学关系及对外输出特性,达到了预期的设计目标,能够满足整车仿真精度要求。     

基于集成学习的用户信用卡违约预测模型研究

用户信用卡违约预测任务有助于银行等金融机构平衡经济风险与经济利益,对于银行信用卡业务的风险管控具有重要作用。针对用户信用卡违约预测问题,提出了一种基于集成学习的预测模型,有异于传统集成学习中的弱学习器。该模型采用集成模型和神经网络模型作为基学习器,从而提升模型整体的预测效果。首先通过预处理提取用户信用卡数据集的相关特征,然后分别采用优化后的决策树、随机森林、GBDT、XGBoost、CatBoost和SPE六种机器学习模型与神经网络模型进行并行训练和预测,最后通过加权软投票法集成基学习器结果并输出最终预测结果。结果表明,相对于基学习器,该模型在各项评估指标上均有所提升,且拥有更好的模型泛化能力。     

一种动态校正的AGMM-GPR多模型软测量建模方法

工业过程常常是强非线性的,并有多个工况,传统的软测量方法存在预测能力差,不能有效利用误差信息等缺点.为了有效解决这些问题,提出一种基于自适应高斯混合模型-高斯过程回归(AGMM-GPR)的多模型动态校正软测量建模方法.首先,通过贝叶斯信息准则构建自适应高斯混合模型(AGMM),得到优化的子模型个数;然后,利用GPR方法建立各局部模型,当新的数据到来时,将其隶属于各局部模型的后验概率和预测值融合得到多模型输出;最后,为了进一步提高模型的精度,构建自回归积分滑动平均(ARIMA)模型对多模型输出进行动态反馈校正.通过数值仿真和硫回收装置(SRU)中H2S浓度的估计,验证了所提方法具有良好的预测精度和泛化性能.     

一类线性动态非均衡蛛网模型的稳定性分析

动态非均衡下蛛网模型的稳定性分析，对于解决诸如农产品等单商品市场价格波动一类的经济活动有着积极的意义。本考虑到单商品的众多生产在进行市场总产量和价格的预测中存在着博弈过程，将第t期的供给函数看成是第t-1期价格和第t-2期价格的线性函数。引入价格调节机制，对传统蛛网模型加以改进，并对改进后的模型进行了动态和稳定性分析，从而得到均衡价格存在的稳定性条件。有助于提高生产对产品的价格和供给量的预测能力及风险管理水平。