基于序列特征的点击率预测模型

点击率预测模型是主流推荐系统中十分重要的部分.根据点击率预测的打分来调整商品的展示策略,对提高业务的转化率、改进用户体验等有着重要的意义.传统的点击率预测模型是利用用户特征和商品特征,对点击率进行预测.然而,用户行为序列的结构特征,如周期性规律、趋势等也能一定程度地体现用户行为的倾向.针对部分信息利用上的空缺,使用时间序列分析单元,将提取用户行为序列的特征作为用户特征的扩展,结合因子分解机结构将其与用户、商品特征进行交叉,能够有效提高特征质量,优化点击率预测模型的性能.实验表明,结合用户行为序列特征进行交叉优化的方法能够对点击率预测模型的表现带来很大提升,提高点击率预测的精度.     

基于Web挖掘的类别推荐算法

使用基于类别的用户点击率的统计方法,对传统的协同过滤推荐算法进行改进.该方法根据用户的点击率和项目特点,将概念分层细化,从而改进用户-项目矩阵中存在的稀疏问题.该方法不但能形成准确推荐,而且可以预测该类用户的未来推荐模式.采用Minnesota大学的MovieLens数据集进行实验,实验结果表明,改进的推荐算法与传统的协同过滤推荐算法相比,在用户较集中的区域,其推荐精度明显较高,更重要的是当用户数据增多时,改进的算法有较强的稳定性.     

基于梯度提升树模型的网络优惠券使用预测

互联网与实体经济融合发展背景下,网络优惠券往往承担了提升用户体验、促进再次消费的重要功能。构建梯度提升树、随机森林等模型,预测网络优惠券使用行为;并对影响因素的重要性进行排序。结果表明:梯度提升树算法的五折交叉验证平均测试精度、曲线下面积值分别为0. 804与0. 886,高于随机森林与单棵决策树算法。优惠券折扣率对于用户使用优惠券行为起着决定性影响,用户经常活动的地点离该商户最近门店的距离、领取优惠券时间等特征对用户使用优惠券行为具有重要影响。     

基于改进FM算法和注意力机制的深度点击率预估模型

针对目前的广告点击率预估模型未能充分学习低阶特征且忽略了不同高阶特征对模型准确率的影响不同的问题,提出了一种基于注意力机制和深度学习的点击率预估模型。该模型采用改进因子分解机(Factorization machine, FM)算法,将全息简化表示(Holographic reduced representation, HRR)的压缩外积用于FM中,从而更好地学习低阶特征,帮助模型获得更好地表示。采用深度神经网络(Deep neural network, DNN)对高阶特征建模学习。引入注意力神经网络区分不同高阶特征交互的重要性来更好地学习高阶特征,从而得到一种能够同时有效学习到低阶特征和高阶特的点击率(Click-through rate, CTR)模型——基于改进FM算法和注意力机制的深度点击率预估模型(Deep click rate prediction model based on attention mechanism and improved FM algorithm, DAHFM)以提升模型的预估性能。在Criteo和MovieLens-1M数据集上大量的实验表明,DAHFM模型相比逻辑回归(Logistic regression, LR)、FM和DeepFM等模型不仅有效学习了特征信息,而且一定程度上提升了模型的性能和点击率的预估效果。     

基于决策树的存量客户流失预警模型

本研究基于价值分析角度,结合用户套餐资费情况,使用CART算法建立决策树模型,并采用交叉验证法来选取最优决策树,并与逻辑回归算法相比较,得到了较好效果,同时对流失用户属性进一步探索,对运营商精准启动预警挽留和维系策略提供决策支持.     

基于特征优化的广告点击率预测模型研究

针对互联网广告数据具有高维稀疏性的特点,在现有的点击率(Click-Through Rate, CTR)预测问题的相关理论和技术基础上,给出了一种基于梯度提升决策树(Gradient Boosting Decision Tree, GBDT)的卷积神经网络(Convolutional Neural Networks, CNN)在线广告特征提取模型(CNN Based on GBDT,CNN+). CNN+模型不仅能从原始数据中提取出深度高阶特征,还能解决卷积神经网络在稀疏、高维特征中提取特征困难的问题.在真实数据集上的实验结果表明,与主成分分析(Principal Component Analysis,PCA)和梯度提升决策树这两种特征提取方法相比, CNN+模型提取的特征更加有效.     

基于XGBoost的新零售优惠券使用行为预测

为实现新零售优惠券的定向投放,提出了对用户优惠券使用行为预测的模型.该文采用XGBoost算法,突破了以TAM模型(技术接受模型)为基础解释个人优惠券使用意愿的传统方法,并基于口碑网的真实交易数据进行了特征提取和用户使用行为建模.在K折交叉验证之后通过变量重要性评分,确定了对消费者使用决策贡献度较高的特征,并与随机森林和GBDT(梯度提升决策树)算法进行了AUC(Area under curve)准确率的对比.该研究证明了基于XGBoost的集成学习算法在优惠券使用行为预测中的有效性,对新零售精准营销有重要的现实意义.     

基于改进鲸鱼优化算法的GBDT回归预测模型

针对梯度提升决策树（gradient boosting decision tree, GBDT）参数难以选择的问题, 提出一种基于改进鲸鱼优化算法（improved whale optimization algorithm, IWOA）的GBDT回归预测算法. 首先, 提出一种改进的鲸鱼优化算法, 利用混沌映射初始化种群提高种群多样性, 引入惯性权重与差分进化算法中的变异交叉策略解决迭代后期易陷入局部最优的问题； 其次, 利用IWOA对GBDT的关键参数寻优, 避免参数选择的盲目性, 提高回归预测模型的泛化能力； 最后, 建立IWOA-GBDT回归预测模型, 并利用UCI数据集对模型进行验证. 实验结果表明, 相比于决策树、 支持向量机、 Adaboost和GBDT算法, 该模型算法具有更好的拟合效果, 并有一定的实用价值.     

基于粒子群优化的因子分解机算法

因子分解机(Factorization Machine,FM)是利用矩阵分解思路针对推荐系统中数据稀疏情况设计的机器学习算法.传统的FM模型参数是通过梯度下降方法进行优化求解,但针对数据集训练样本较少的情况,梯度下降方法不能保证参数收敛到全局最优.粒子群算法(Particle Swarm Optimization,PSO)是一种快速启发式算法,具有全局搜索的特性.为提高FM模型的表现能力,首先基于PSO算法确定全局最优位置,然后利用梯度下降优化FM参数,本文提出了PSO-FM算法.在数据集Diabetes进行实验对比,结果表明,改进后的基于粒子群的因子分解机算法PSO-FM在模型训练速度和预测准确度上都优于传统的因子分解机FM算法.     

基于评论特征提取和隐因子模型的评分预测推荐系统

评分预测是推荐系统研究的核心问题,通过用户的历史行为来预测用户对商品的评分,根据评分高低来推荐用户喜欢的商品.当前基于评论评分预测推荐系统普遍只使用卷积神经网络捕获局部特征或者循环神经网络捕获全局特征,忽略了将这两类特征的有效融合.针对现存问题,本文提出基于评论特征提取和隐因子模型的评分预测推荐模型,使用自适应感受野的卷积神经网络(CNN)提取局部特征,同时使用门控循环单元(GRU)提取全局特征,将不同特征融合为评论的嵌入表达.再结合隐因子模型(LFM)对用户的特征偏好和商品的特征属性进行建模.最后,通过对用户和商品的嵌入表达进行评分预测.实验结果表明,本文模型在5个数据集上均高于现有基线模型.     

基于因子分解机的信任感知商品推荐

数据稀疏和运行速度慢是个性化推荐系统面临的难题。为了有效利用用户历史行为,基于用户的评分记录识别出用户感兴趣的内容,并结合用户间的信任关系,提出使用因子分解机(factorization machine,FM)模型进行评分预测。FM具有线性时间复杂度,并且对于稀疏的数据具有很好的学习能力,因而能进行快速推荐。试验结果表明,与传统方法相比,基于因子分解机的商品推荐方法的准确度有明显提高。     

一种基于lightGBM框架改进的GBDT风力发电机叶片开裂预测方法

风力发电机叶片开裂直接影响风力发电机运行,采用梯度提升决策树算法与基于lightGBM框架改进的梯度提升决策树算法对风力发电机叶片开裂进行预测。对比分析了预测准确度与可行性。基于lightGBM改进的梯度提升决策树算法分析的风力发电机运行数据得出的预测结果优于梯度提升决策树算法,且对于风力发电机叶片开裂预测准确度较高,并具有实用价值。同时该算法能够大幅降低样本中的无效数据,减少计算量。其独立特征合并能够使得划分点特征数量降低,提高风力发电机叶片开裂预测的准确性。最后,风力发电机叶片开裂预测实验结果表明,基于lightGBM改进的梯度提升决策树算法取得了更好的预测结果,计算量更小且能够准确预测风力发电机叶片开裂故障。     

基于改进支持向量机的空气质量监测预警模型

在使用粒子群和组合预测方法改进传统支持向量机预测精度的基础上,构建了基于空气质量指数的城市空气质量监测预警模型.在参数优化方面,为了提高惩罚参数和核参数的选择精度,利用带收敛因子的粒子群算法,优化了网格搜索交叉验证法的参数筛选流程;在模型改进方面,为综合利用多种预测算法的优势,引入组合预测方式对灰色预测、时间序列预测和PSO-SVM模型的预测结果进行最优线性组合.结果表明:改进后的参数筛选流程和支持向量机的空气质量监测预警模型具有预测数据结构风险低、预测均方误差最小、运算精度高、运算速度快和适用性广等特征.     

基于随机森林优化的自组织神经网络算法

针对基于降维的神经网络分类器预测模型在分析过程中存在特征丢失, 并导致精度下降的问题， 提出一种基于随机森林算法优化的多层感知器(MLP)回归预测模型. 该优化模型通过在MLP回归模型网络的全连接层和逻辑回归层之间增加一个优化机制, 利用随机森林算法对隐藏层状态的优化实现改进, 从而解决了降维过程中神经网络丢失数据特征的问题. 在借贷客户信息数据集上的实验结果表明, 该模型在保证主要特征的同时大幅度提升了预测准确率, 证实该模型在特征工程中具有较高的实用性.     

一种基于集成学习的入侵检测算法

作为机器学习领域的一个重点研究方向,集成学习相比于单分类器有着更高的检测精度,被广泛应用于异常入侵检测.但是,现有基于集成学习的入侵检测算法在对原问题进行划分过程中会存在一定的边缘信息与整体信息的丢失,且最终的模型融合也是一个耗时、复杂的调整参数过程.基于此,提出一种改进的基于集成学习的入侵检测算法,将原问题转化成多个二分类问题,并把多个分类器的概率预测结果作为先验知识加入到原本的特征中,再进行多分类模型的学习;借助于Facebook提出的梯度提升决策树(GBDT)和逻辑回归(LR)的融合模型对其中的二分类问题进行学习.通过在KDD CUP’99数据集的实验与分析,验证了所提算法的有效性.     

基于潜在因子多样性的非负矩阵分解协同过滤模型

基于非负矩阵分解的协同过滤模型在高维稀疏数据的预测和填补上十分有效，该模型具有推荐个性化、有效利用其他相似用户回馈信息的优点，但也存在预测精度较低等不足。针对用户或项目在不同情景下的评分差异性，提出了一种改进的基于潜在因子多样性的非负矩阵分解的协同过滤模型。该模型充分考虑在不同情境下，用户和项目潜在特征矩阵的多样性，在模型的训练中，采用了单元素非负乘法更新规则和交替方向法，保证了目标矩阵的非负性，且提高了模型的收敛率。在真实的工业数据集上的实验结果表明，相比于经典的非负矩阵分解模型，该模型的预测精度有了明显提高。     

一种基于改进极端梯度提升决策树的轴承故障诊断方法

针对传统故障诊断模型面向海量故障数据时诊断准确度低的问题，首先，提出了一种局部均值分解与固定点算法联合降噪方法，以消除轴承振动信号中的噪声；其次，为了避免原始信号中敏感特征难以提取的问题，提出了一种基于核主成分分析的降维方法；再次，构建了一种基于改进极端梯度提升决策树的故障诊断模型，采用GS-PSO算法优化SVM性能，进而运用改进极端梯度提升决策树思想修正分类模型的残差以提升模型分类精度，应用Spark-大数据平台，通过并行处理技术进行科学计算；最后，采用CWRU提供的滚动轴承数据进行训练与仿真，证明构建的模型能实现对不同类型滚动轴承的识别诊断，并保证诊断结果的准确率。通过对4种不同故障诊断模型的对比分析，表明本文模型具有可行性和优越性。     

基于用户及物品间差异的推荐算法研究

推荐系统是解决信息过载问题最有效的工具之一,协同过滤是目前推荐算法中广泛应用的技术,然而协同过滤算法存在着诸如数据稀疏、难以扩展等问题.在基于偏好算法的基础上,通过把用户评分按照用户评分偏好和物品得分趋势分类,在每类上进行线性回归,得到了基于用户及物品间差异的回归模型.该模型不仅能改善数据稀疏和可扩展性问题,而且能够降低计算复杂度和空间复杂度.实验结果表明改进后的算法在近似的计算复杂度情况下,预测精度比基于偏好算法平均提高了3.97%.     

基于压缩激励网络的注意力因子分解机的点击率预测模型

在互联网技术日趋成熟的今天,广告的点击率(click-through rate, CTR)预测得到越来越多的关注。在特定的商业环境下,广告CTR预测模型的改进可以带来巨大的经济效益。然而特征的多样性和复杂性使得传统的预测模型难以发现海量特征中的重要特征。针对上述问题,提出了基于压缩激励网络的注意力因子分解机的点击率预测模型(squeeze and excitation network based attentional factorization machines model for click-through rate prediction, SEAFM),SEAFM模型通过压缩和激励网络来动态学习特征的重要性,通过注意力网络来学习特征交互的权重,通过深度神经网络(deep neural network, DNN)模块来隐式建模高阶特征交互。实验结果显示,SEAFM模型比现有相关模型具有更好的性能。     

由粗到精和特征筛选的精确回归预测方法及其在二语习得中的应用

针对数据分布不均匀且因素多而容易造成预测不精确的问题,提出一种结合由粗到精与特征筛选的精确回归预测方法.首先,由于数据分布不均匀且预测区间大,直接预测难以精确地拟合,提出一种由粗到精的预测方法,并使用决策树进行粗分类,预测目标所在的子区间,然后在子区间内实现精确的回归预测.其次,如果数据量少且特征因素多会引起过拟合,而且部分冗余特征会影响模型的预测精度,因此,提出一种基于特征筛选的回归预测方法以提高预测精度.在大学生的英语成绩与其人格因素数据集上进行相关实验,结果证明了由粗到精和特征筛选方法与传统回归模型相比精度更高且稳定性更好.通过提出的人格因素与英语成绩回归预测模型,可以制定合理的培养方案弥补学生人格因素中的短板,提升学生的自身竞争能力,从而更好地推动中国的英语教育.