基于增强型FNN的广告点击率预测模型

为了进一步提高点击率(Click-through rate,CTR)预测模型学习有效特征组合的能力,该文提出一种基于增强型因子分解向量输入神经网络(Enhanced factorization machine supported neural network,EFNN)的广告点击率预测模型。该模型在基于因子分解向量输入神经网络(Factorization machine supported neural network,FNN)的基础上增加了新特征生成层,采用一种针对CTR数据的卷积操作,对数据进行通道变换后引入Inception结构进行卷积,将生成的新特征和原始特征结合,提升了深度网络的学习能力。实验结果证明,添加了新特征生成层的增强型FNN能有效提高广告点击事件的预测准确率。     

增强型注意力网络点击通过率预估方法

针对以往模型在对点击通过率(click-through rate,CTR)进行建模预测时,存在着特征重要性学习不足、特征交互低效等问题,提出了一种增强型注意力网络预估模型,用于动态学习特征重要性和特征交互信息,模型主要由注意力层、双线性交互层和全连接神经网络层构成。注意力层的多尺度多头自注意力机制通过设置不同尺寸子空间增强特征重要性学习能力,在得到特征重要性后,进一步采用张量积双线性交互学习特征交互信息。通过对注意力的子空间尺寸大小、张量积交互形式、神经网络层数和节点个数等进行定量分析,确定模型的最佳参数。实验证明,该模型相比已有模型拥有更好的预测能力。     

面向点击通过率预测的交互边选择算法研究

点击通过率(click-through rate, CTR)作为推荐系统中必不可少的核心任务分支,提高其预测准确性,既能改善用户的浏览体验,也能为平台增加收益。以往模型在对点击通过率进行建模预测时,保留所有的交互特征存在信息冗余,交互低效等问题。针对这一问题提出了一种面向点击通过率预测的交互边选择模型,通过自动识别冗余信息来动态选择有益的交互特征,主要由交互边选择网络层,图节点相似度注意力层构成。交互边选择网络层引入过滤阈值机制并结合动态关联矩阵来去除冗余信息,图节点相似度注意力层通过学习相似度权重矩阵来解决节点过度平滑问题。在Criteo和Avazu两个公开数据集上的大量实验证明,该模型的预测能力优于已有模型。     

基于特征关联模型的广告点击率预测

点击率(click-through rate,CTR)预测是互联网公司中重要的研究课题,预测结果与上下文、用户属性和广告属性息息相关,CTR的有效预测对提高广告公司的收入至关重要。该文在对传统逻辑回归(logistic regression,LR)模型的相关原理和参数优化算法介绍的基础上,抽离出用户特征和广告特征,将用户与广告之间特征的关联信息添加到Sigmoid函数中得到一种特征关联模型。与以往求解方法不同,该方法采用在线最优化算法FTRL(follow-theregularized-leader)提高参数计算效率,采用混合正则化来防止训练过拟合。真实的广告数据集上的实验结果表明:该方法与传统的模型和方法相比具有更好的预测精度、效率、参数敏感性和可靠性。     

在线广告中点击率预测研究

随着互联网的发展和用户的增长,广告行业从传统的线下广告模式,逐步转变为线上广告模式.同时,由于大数据分析技术的运用,线上广告模式相比于传统广告也体现了巨大的优越性.广告主之间相互竞争,通过竞价的方式,将自己的广告投放在运营媒体的广告位上.所以,在投放前预测该广告可能被用户点击的概率(CTR),对于广告主减少成本和增加可能收入来说非常重要.本文在调研了目前常用的广告点击率预测模型的基础上,选取广告主、广告和投放媒体平台信息作为预测模型的特征,采用真实数据集验证说明各种模型的优劣性,以及不同特征对广告点击率预测结果的影响.     

基于改进FM算法和注意力机制的深度点击率预估模型

针对目前的广告点击率预估模型未能充分学习低阶特征且忽略了不同高阶特征对模型准确率的影响不同的问题,提出了一种基于注意力机制和深度学习的点击率预估模型.该模型采用改进因子分解机(Factorization machine,FM)算法,将全息简化表示(Holographic reduced representation,H...     

基于域矩阵因子分解机的点击通过率预估增强网络

有效的特征交互,对于工业推荐系统中点击通过率(click-through-rate,CTR)预估的准确性起着至关重要的作用。以往并行结构的CTR预估模型通过将独立的浅层模型和深层模型并行连接,以此来学习特征的低阶交互和高阶交互。但是,这些模型存在浅层模型准确性低、未考虑特征交互时的多语义问题、参数过多、深层模型过度泛化等问题。基于上述问题,提出了一种基于域矩阵因子分解机的点击通过率预估增强网络,通过引入域矩阵优化浅层模型中的交互,提高运算效率,并在深层模型的DNN层与层之间增加了桥接模块,在每层高阶交互后增强对原始特征的记忆能力,将浅层模型和深层模型的结果相加并归一化得到预测值。该模型在Criteo、KKBox、Frappe和MovieLens数据集上进行了大量实验,展现了优秀的预测能力。     

广告点击率估算技术综述

计算广告是根据给定的用户和网页内容,通过计算得到与之最匹配的广告并进行精准定向投放的一种广告投放机制.广告的点击率预测是指利用点击日志预测的点击率,其结果受到广告的自身性质、广告位置、页面信息、用户性质,以及广告主信誉等诸多因素的影响.有效地预测广告的点击率,对于提高广告投放的效率有着至关重要的作用.本文介绍了广告点击率预测的常用模型,包括历史数据丰富的广告点击率预测模型、新广告和稀疏广告的点击率估算模型和点击率预测的优化模型,并通过真实数据集举例说明了其实现的方法.     

基于贝叶斯优化注意力机制LSTNet模型的短期电力负荷预测

为更充分挖掘多元负荷序列间的有效信息,从而提高预测精度,提出了一种集成贝叶斯超参数优化算法、注意力机制的长期和短期时间序列网络（long and short-term time-series network with attention,LSTNet-attention）以及误差修正的短期负荷预测模型。首先,构建基于贝叶斯优化的LSTNet-attention模型进行初步预测,利用贝叶斯算法优化模型多个结构参数,降低人工设置参数的随机性,并通过注意力机制合理分配特征权重;然后,通过基于贝叶斯参数优化的极端梯度提升算法(extreme gradient boosting,XGBoost)误差修正模型来挖掘初步预测误差序列中潜在、未被利用的有效信息,进行误差预测和修正,进而得到最终的预测结果。通过使用澳大利亚某地真实负荷数据进行实证分析,实验结果表明,所提预测模型相较于其它模型具有更好的预测效果,可为负荷预测等工作提供一定参考。     

基于特征优化的广告点击率预测模型研究

针对互联网广告数据具有高维稀疏性的特点,在现有的点击率(Click-Through Rate, CTR)预测问题的相关理论和技术基础上,给出了一种基于梯度提升决策树(Gradient Boosting Decision Tree, GBDT)的卷积神经网络(Convolutional Neural Networks, CNN)在线广告特征提取模型(CNN Based on GBDT,CNN+). CNN+模型不仅能从原始数据中提取出深度高阶特征,还能解决卷积神经网络在稀疏、高维特征中提取特征困难的问题.在真实数据集上的实验结果表明,与主成分分析(Principal Component Analysis,PCA)和梯度提升决策树这两种特征提取方法相比, CNN+模型提取的特征更加有效.     

基于压缩-激励网络双塔模型的卷烟推荐算法

采用压缩和激励网络(squeeze and excitation network, SENET)构建双塔推荐模型,针对卷烟消费推荐问题进行了研究.基于长期采集的包含用户、商品和历史交互信息的数据集,使用SENET双塔推荐模型对该数据集进行建模,以预测用户的卷烟消费行为.实验结果表明,基于SENET双塔构架的卷烟消费推荐模型在消费者与产品间的交互信息获取上具有优势;与传统的推荐算法相比,SENET双塔推荐模型具有更好的推荐效果.     

Internet动态行为的探索

Internet中各种错综复杂的局部的交互作用会导致Internet涌现出大规模网络整体行为,WWW（world wide web)是目前最通用的Internet服务,WWW冲浪的研究表明用户的冲浪行为可以用一个模型来描述,该模型假定只有当前网页的价值足够大时,用户才继续冲浪到下一个网页,根据用户个体的冲浪模型可以得出大面积的冲浪规律-用户在网站内访问的网页数量的概率分布,这个冲浪规律和传播激励网络（spreading activation networks)结合起来,将互相链接的网页看作一个传播激励网络,将WWW冲浪用户比作激励,还可用于网页点击率的预测,通过计算机仿真实验预测了网站内网页的点击率,并发现网站内网页点击率的预测结果遵循指数分布规律,这正是实际中观察到的结果。     

结合双向LSTM和注意力机制的车辆轨迹预测

为提升智能交通、自动驾驶等系统的管理和服务质量,提出一种双向长短期记忆网络结合注意力机制的车辆轨迹预测模型。采用道格拉斯-普克压缩算法对轨迹数据进行压缩预处理,减少数据中的冗余;在编码器中使用双向长短期记忆网络充分捕获时间相关性特征,并采用自注意力机制获得与邻近车辆之间的全局空间相关性特征;通过解码器的全连接层获取车辆的未来位置,并通过模型迭代获得完整的预测轨迹路线。实验结果表明,提出的模型预测性能优于对比模型。此外,消融实验结果表明,引入轨迹压缩算法与改进的长短期记忆网络结合注意力机制对预测准确度均有积极贡献。     

注意力机制下的EMD-GRU短期电力负荷预测

为进一步提高短期电力负荷预测精度,构建一种基于注意力机制的经验模态分解(EMD)和门控循环单元(GRU)混合模型,对时间序列的短期负荷进行预测.首先,对负荷序列进行EMD,将数据重构成多个分量;再通过GRU提取各分量中时序数据的潜藏特征;经注意力机制突出关键特征后,分别对各分量进行预测;最后,将各分量的预测结果叠加,得到最终预测值.仿真结果表明:相对于BP网络模型、支持向量机(SVR)模型、GRU网络模型和EMD-GRU模型,基于EMD-GRU-Attention的混合预测模型能取得更高的预测精度,有效地提高短期电力负荷预测精度.     

基于CNN-GRU的移动APP流行度预测模型

移动APP流行度预测对应用推荐、广告投放等意义重大。但是现有方法大多依赖手工特征工程,工作量大且效率较低。为此,提出一种基于深度神经网络的移动APP流行度预测模型。利用最大信息系数进行特征相关性分析以确保特征选取有效性,结合历史流行度特征,通过门控循环单元(gate recurrent unit,GRU)和注意力机制构建长期演化模型来推演发展趋势,基于多尺度卷积神经网络(convolutional neural networks,CNN)和注意力机制构建短期波动模型以实现预测动态优化,结合其他重要特征利用GRU和注意力机制建立多因素影响模型。通过时间注意力模块将上述模型融合,实现流行度预测。实验结果表明,所提模型在移动APP流行度预测方面相对更为精准有效。     

基于自适应神经网络的云资源预测模型

为了避免容器云资源因资源供求不均衡而导致的资源利用率差等问题,需要对未来时刻的资源需求情况进行预测来进行更精准的调度和分配资源,因此,结合神经网络的高效学习能力与自适应调整的学习率,提出一种基于自适应神经网络的云资源预测模型。首先,融合卷积神经网络(convolutional neural network, CNN)和长短期记忆(long short-term memory, LSTM)网络的特点去挖掘历史数据的特征,预测未来的资源需求;然后,根据模型预测情况自适应调整学习率,提高模型预测的精度。使用Microsoft Azure公开数据集进行测试,相较于单一模型CNN、LSTM和未加入自适应学习率的神经网络模型,均方根误差分别下降了17.74%、18.27%和6%,证明了模型的有效性。     

基于注意力与LSTM的航空发动机剩余寿命预测

预测性维护的核心技术之一是设备剩余寿命(remaining useful life, RUL)预测。为了提高航空发动机的剩余寿命预测精度,提出了一种基于注意力与长短期记忆(directional long short-term memory, LSTM)网络的航空发动机剩余寿命预测模型Attention-LSTM,通过引入注意力机制增强各时间点数据的特征权重,有效提升了模型预测精度。使用NASA C-MAPSS涡扇发动机仿真数据集进行实验,与未加注意力机制的长短期记忆网络等多种模型进行对比实验。实验结果表明,提到的Attention-LSTM模型的均方根误差相比较于未引入注意力机制的长短期记忆网络降低了17.8%,拟合度提升了3.2%,各项评估指标均也优于其他对比模型。     

基于序列特征的点击率预测模型

点击率预测模型是主流推荐系统中十分重要的部分.根据点击率预测的打分来调整商品的展示策略,对提高业务的转化率、改进用户体验等有着重要的意义.传统的点击率预测模型是利用用户特征和商品特征,对点击率进行预测.然而,用户行为序列的结构特征,如周期性规律、趋势等也能一定程度地体现用户行为的倾向.针对部分信息利用上的空缺,使用时间序列分析单元,将提取用户行为序列的特征作为用户特征的扩展,结合因子分解机结构将其与用户、商品特征进行交叉,能够有效提高特征质量,优化点击率预测模型的性能.实验表明,结合用户行为序列特征进行交叉优化的方法能够对点击率预测模型的表现带来很大提升,提高点击率预测的精度.     

基于VMD-LSTM-ELMAN模型的国际原油价格人工智能预测研究

针对国际原油价格序列的高度非线性、非平稳性和时变性等复杂特征,本文提出一种基于变分模态分解(Variational modal decomposition, VMD)和组合预测模型LSTM-ELMAN的方法对国际原油价格进行预测。首先采用VMD方法将原始原油价格分解为不同频率的子序列;然后采用不同模型分别对高频和低频序列进行预测,利用ELMAN神经网络(Elman neural network, ELMAN)预测最后一个高频分量,长短期记忆网络(LSTM,Long short-term memory network)作为主要的预测模型来预测其他子序列;最后重构不同模型的子序列预测值,进而得到最终的预测结果。实证研究结果表明,本文所提出的VMD-LSTM-ELMAN混合模型相较于对比模型不仅能够明显提高国际原油价格的预测精度,而且在不同训练集长度和市场环境下仍能保持预测优势,具有较强的泛化性与可靠性。总体而言,基于国际原油价格的实验证明了VMD-LSTM-ELMAN是一种有效且稳定的预测模型,能够为政府和企业提供有效的智能技术支持。     

基于AM-LSTM模型的超短期风电功率预测

近年来,中国的风力发电产业高速发展。然而风力发电具有不稳定性,风电功率超短期预测结果的准确性直接影响到电网安全有效的运行。为了进一步提高风电功率超短期预测的精确度,提出了长短期记忆网络-注意力模型(AM-LSTM)风电功率预测模型,该模型将长短期记忆网络(long-term and short-term memory,LSTM)和注意力模型(attention model,AM)相结合, LSTM网络能够处理好风速、风向等时间序列变量与风电功率之间的非线性关系,注意力模型能够优化LSTM网络的权重,从而使预测结果更加准确。采用真实的风电场历史数据进行实验,结果表明:提出的AM-LSTM预测模型能够有效利用多变量时间序列数据进行风电场发电功率的超短期预测,比传统的BP神经网络和LSTM网络具有更精确的预测效果。该预测模型为风电场地电力调度提供了科学参考。