基于集成学习的用户信用卡违约预测模型研究

用户信用卡违约预测任务有助于银行等金融机构平衡经济风险与经济利益,对于银行信用卡业务的风险管控具有重要作用。针对用户信用卡违约预测问题,提出了一种基于集成学习的预测模型,有异于传统集成学习中的弱学习器。该模型采用集成模型和神经网络模型作为基学习器,从而提升模型整体的预测效果。首先通过预处理提取用户信用卡数据集的相关特征,然后分别采用优化后的决策树、随机森林、GBDT、XGBoost、CatBoost和SPE六种机器学习模型与神经网络模型进行并行训练和预测,最后通过加权软投票法集成基学习器结果并输出最终预测结果。结果表明,相对于基学习器,该模型在各项评估指标上均有所提升,且拥有更好的模型泛化能力。     

双机制Stacking集成模型在短时交通流量预测中的应用

交通流量预测对于智能交通管理决策具有重要意义,为克服传统单一模型预测精度低、稳定性不足,同时为解决Stacking集成模型对基学习器输出信息利用率不高的问题,提出了一种双机制Stacking集成模型.双机制包括内机制和外机制,内机制通过在元学习器中引入注意力机制来调整网络中的特征信息,外机制通过在基学习器中融入动态权重系数来调整基学习器的输出信息.通过内外结合的双机制实现对基学习器输出信息动态变动规律的挖掘和提取并增强对基学习器输出信息的利用率,从而提升模型的预测精度和稳定性.选取I5NB高速公路上的76898条数据为实证研究对象,进行了基于随机森林、GBDT(gradient boosting decision tree)和Xgboost(extreme gradient boosting)单一模型、传统Stacking集成模型及双机制Stacking集成模型的预测对比分析.实证结果证明双机制Stacking集成模型预测精度最高,验证了该模型在短时交通流量预测中的有效性.     

Prefix-LSDPM：面向小样本的在线学习会话退出预测模型

在线学习会话退出预测旨在准确预测在线学习过程中的学习会话退出，是智慧教育领域中十分重要的一项研究任务。针对现有模型在小样本场景下预测准确率较低的问题，提出了基于前缀提示的在线学习会话退出预测模型Prefix-LSDPM。该模型为获取单个学习行为内部特征及连续学习行为之间的隐含关联信息，在改进了键值向量的Transformer网络中对提示形式的合成序列进行掩码学习；为降低模型训练涉及的参数量以适应小样本学习，将学习会话退出预测任务建模形式靠近预训练任务，并在冻结的预训练参数基础上对提示参数进行调优。基于多个数据集的实验结果表明，Prefix-LSDPM的预测准确率优于现有模型，且在小样本学习中仍能达到较好的预测效果。     

面向复合材料带隙预测的两段式集成学习模型构建

带隙是钙钛矿型复合氧化物材料重要的特征参数, 对材料的物理化学性质起决定性作用, 如导电性能和光电性能等. 为了寻找适合不同应用领域的钙钛矿型材料, 利用机器学习进行带隙预测是一种重要的研究手段. 构建了一个两阶段异质集成学习模型, 在第一阶段使用多种不同的基础机器学习器(回归模型)进行预测; 在第二阶段把对预测结果影响较大的描述子和基础机器学习器进行集成学习.利用该模型对 210 种钙钛矿型复合氧化物材料的带隙进行预测, 并与多种独立的机器学习算法以及不同集成策略模型的预测性能相对比, 评估了本模型的预测性能. 结果表明, 这种两段式的集成学习模型能够更好地学习到材料数据的内在关系, 并具有较好的预测效果和较强的泛化能力.     

基于支持向量机的露天转地下开采边坡变形模型

提出了一种基于支持向量机的露天转地下开采边坡变形模型,有效表达了地下开采扰动引起露天矿边坡变形的非线性变化关系.采用RBF核函数学习现场监测数据,利用交叉验证选择模型参数,通过学习捕捉支持向量,建立模型预测未来变化趋势.将该模型应用于露天转地下开采的杏山铁矿.结果表明,支持向量机对学习样本的拟合精度极高,其预测精度也很高.采用捕捉的支持向量进行预测,便捷快速且有较强泛化能力.     

坝基灌浆量预测ISSA-Stacking集成学习代理模型研究

灌浆量预测对坝基灌浆施工具有重要意义．由于灌浆工程隐蔽且复杂,传统方法难以实现准确高效的灌浆量预测．代理模型是一种能够建立影响因素与响应值之间近似关系的快速求解方法,然而单一代理模型的预测稳定性和准确性较低,组合代理模型仅将单一模型结果进行加权平均,预测精度仍有待提高．为解决上述问题,本文提出一种ISSA-Stacking集成学习代理模型新方法用于灌浆量预测研究．首先,针对灌浆量预测具有数据量小、影响因素与灌浆量之间非线性关系复杂且预测不确定性较大等特性,基于Stacking集成学习策略,选取在小样本预测中表现优越的支持向量回归(SVR)、具有良好非线性拟合能力的BP神经网络(BPNN)和预测泛化性能及稳定性高的随机森林(RF)等算法作为基学习器,采用自适应学习和不确定性处理能力强的自适应神经模糊推理系统(ANFIS)作为元学习器以集成上述机器学习算法的优势,构建具有更优预测性能和泛化能力的Stacking集成学习方法作为代理模型;其次,为进一步提高模型预测精度,采用混沌理论和Lévy飞行策略改进的麻雀搜索算法(ISSA)对集成学习代理模型进行参数同步优化;最后,将所提ISSA-Sta...     

基于自适应惯性权重优化后的粒子群算法优化误差反向传播神经网络和深度置信网络(DBN-APSOBP)组合模型的短期旅游需求预测研究

旅游需求的精准预测对于旅游景区资源调度和管理有着重要作用。单一的浅层学习算法无法很好地拟合旅游客流量的特征,针对上述问题,本文通过组合深度学习和浅层学习算法,同时结合网络搜索行为数据,建立深度置信网络和利用自适应惯性权重优化后的APSO去优化BP神经网络——APSO-BP的组合预测模型,用DBN模型对原始非线性客流量数据预测,再对DBN模型预测所产生的残差建立APSO-BP模型进行预测,将二者预测值合成后得到最终的预测值。通过实验证明了该组合模型能够较为准确的拟合客流量数据特征,有效地提高了预测精度。     

采用BP&SA混合学习策略的短期电力负荷预测方法

提出了一种BP混合模拟退火(SA)的ANN短期负荷预测方法,该方法针对传统BP学习算法的缺点,将BP算法和模拟退火算法的优点相结合以提高网络的学习性能.ANN模型中考虑了温度和预测日类型,可进行工作日和节假日的预测,实例表明ANN模型实用有效、精度高.     

基于PSO-ELM模型的短期电力系统负荷预测

为了提高电力负荷预测的精确度、降低预测误差,提出了一种基于粒子群优化的极限学习机(PSO-ELM)模型。通过粒子群算法对极限学习机的参数进行寻优,最后通过PSO-ELM模型和传统ELM模型预测结果的相对误差比对,改进模型将相对误差降低在1%左右,提升了学习速率和预测精度,为电网运行和电力分配提供了决策保障。     

基于深度学习长短期记忆神经网络的有色金属期货市场预测研究

为提高金融资产预测能力,该文采用深度学习长短期记忆(LSTM)神经网络模型对上海期货交易所(SHFE)和伦敦金属期货交易所(LME)的铝、铜、镍、铅、锡和锌6种有色金属期货价格分别进行长、短期预测,与传统机器学习多层感知器(MLP)模型以及线性自回归移动平均(ARIMA)模型进行对比研究。数据源于Wind数据库和国际货币基金组织(IMF)数据库。使用Python深度学习软件模拟预测有色金属期货价格,结果显示:有色金属期货市场长期预测中,LSTM模型的预测表现略逊于ARIMA模型,MLP模型预测效果不理想;短期预测中,LSTM模型的预测结果和ARIMA模型相近,均优于MLP模型; LSTM模型与MLP模型相比,模型的稳定性和预测的精确度都更加出色。LSTM模型可作为ARIMA模型的最优替代之一。     

广义神经网络在织物热传递性能预测中的应用

在分析织物热传递性能与相关影响因素之间关系的基础上,建立了织物热传递性能预测的广义神经网络模型(GRNN).并与传统的BP网络模型仿真结果进行了比较,结果表明:GRNN网络设计简单,学习收敛快,在解决小样本问题的学习中,具有更好的的预测和泛化能力,验证了GRNN网络预测的优越性和有效性.     

基于强化学习的非线性时间序列智能预测模型

针对时间序列预测中非线性、噪声高等特点,提出时间序列向前多步混合智能预测模型.首先,在模型训练过程中,提出一种将强化学习与隐马尔可夫模型相结合的新方法,强化学习运用TD(λ)方法,采用历史观测数据作为报酬回报,强调远近期历史数据的不同影响程度并用以迭代增强历史观测数据在模型中的作用;进一步,在向前多步预测过程中,提出一种以强化学习为桥梁、将神经网络与隐马尔可夫模型相结合的方法,用以充分发挥神经网络数据拟合优势和隐马尔可夫模型减小系统随机误差方面的优势.利用稀土期货交易数据进行预测实验,结果表明:智能预测模型显著降低了预测的平均绝对误差、百分比绝对平均误差、均方根误差,提高了预测的准确性和效果.     

单桩极限承载力的神经网络预测

利用BP神经网络较强的非线性映射能力和学习功能，建立了单桩竖向极限承载力预测的人工神经网络模型．该模型依据实测静力触探资料建模，通过静载荷试验成果的学习与预测检验，证明其预测精度良好、适用性强，验证了神经网络方法的可行性，因而具有较大的工程实用价值．     

热轧非稳态过程轧制力自学习模型优化

为提高热连轧非稳态过程轧制力的预测精度,提出了一种轧制力自学习模型优化方法. 将模型自学习系数分解为层别学习系数和轧制状态学习系数,表征机架间轧制力预报偏差的遗传特性及实际轧辊状态对模型预报的影响.在系数更新过程中,根据层别距离分别对学习系数进行更新,减小了轧制规格切换时轧制力的预报误差.所提方法已成功应用于某热连轧过程,与原模型相比,优化后的自学习方法的预测偏差从2.8%降低到1.4%,均方差从3.3%降低到1.7%,有效提高了非稳态过程轧制力的预测精度和鲁棒性.     

基于自适应神经网络的云资源预测模型

为了避免容器云资源因资源供求不均衡而导致的资源利用率差等问题,需要对未来时刻的资源需求情况进行预测来进行更精准的调度和分配资源,因此,结合神经网络的高效学习能力与自适应调整的学习率,提出一种基于自适应神经网络的云资源预测模型。首先,融合卷积神经网络(convolutional neural network, CNN)和长短期记忆(long short-term memory, LSTM)网络的特点去挖掘历史数据的特征,预测未来的资源需求;然后,根据模型预测情况自适应调整学习率,提高模型预测的精度。使用Microsoft Azure公开数据集进行测试,相较于单一模型CNN、LSTM和未加入自适应学习率的神经网络模型,均方根误差分别下降了17.74%、18.27%和6%,证明了模型的有效性。     

普通混凝土强度预测的BP神经网络模型

在分析普通混凝土强度影响因素基础上 ,选取混凝土配料中 7个因素作为输入值 ,混凝土2 8d强度作为输出值建立了混凝土强度预测的 BP网络模型。讨论了模型的学习样本、网络参数对预测精度的影响 ,选出最佳网络参数配置。实例证明模型预测精度高。     

一种考虑物理过程信息的油气渗流深度学习新模型

目前机器学习仍属于纯数据驱动下的单一数据学习,其结果和学习过程的物理可解释性有待提高。在油气田开发中,井网密度较小,井点数据属于稀疏训练样本数据,即使采用深度学习,其预测效果仍欠佳。油气流动物理过程一般较为明确,即满足渗流方程,将渗流方程作为约束条件加入深度学习损失函数项,建立一种考虑物理过程信息的油气渗流深度学习新模型。通过单相和两相流算例验证模型的正确性和高效性。结果表明:在数据样本充足情况下,无论是传统模型还是新建模型均能获得良好的学习和预测效果;随着数据样本的减少,传统模型的学习和预测结果误差也随之增大,但新建模型仍能保持较高精度,即使在强非均质和注采关系反转条件下也能保证预测精度。     

基于数据驱动模式的波浪能装置短期发电功率预测方法

 分析了随着波浪能发电技术的逐步成熟带来的功率预测技术现状，阐述了功率预测对规模化利用波浪能的现实需求，研究了不同模型的预测机理和特性，并在传统物理模型技术上提出了基于深度学习的数据驱动模型。基于长短时记忆网络的深度模型能够对波浪发电装置的短期功率开展预测，并通过与支持向量机、神经网络等模型的比较，证明了长短时记忆网络模型预测方法能够获得更优的短期预测结果。     

甲状腺结节辅助诊疗模型管理方法的研究

基于主动学习框架,对甲状腺结节辅助诊疗模型管理涉及的模型训练和模型融合进行了整合,在模型训练时选择最佳样本进行迭代学习以提升模型准确度,在模型融合时采用基于熵的加权融合算法解决单一模型预测存在的片面性问题。在真实医疗数据集上,针对甲状腺超声检查报告提取的18个特征和8种分类类别,对比不同数量模型融合后预测的效果。结果表明,融合模型的准确度高于单一模型,且随着迭代次数的增加融合模型更趋于稳定,证实主动学习可以提升模型准确度的有效性。甲状腺结节辅助诊疗模型管理方法能够有效提升模型预测准确度,具有及时为医生诊断提供辅助决策、为患者提供病情咨询的功能。     

基于粒子群最小二乘支持向量机的瓦斯含量预测

针对经验模型与确定性模型在应用中受到限制问题,采用基于统计学习理论的支持向量机对经验数据进行学习,建立瓦斯含量与其影响因素之间的映射模型,从而实现煤层瓦斯含量预测.支持向量机的惩罚因子和核参数取值不同将会明显影响其预测的精度,支持向量机本身也没给出解决的办法,引入粒子群算法自动搜索支持向量机参数.该方法克服了神经网络过学习问题和支持向量机人为选取参数的盲目性问题.通过对某矿区样本的学习预测研究,表明该方法可取得良好的预测效果,具有较好的适应性.