面向点击通过率预测的交互边选择算法研究

点击通过率(click-through rate, CTR)作为推荐系统中必不可少的核心任务分支，提高其预测准确性，既能改善用户的浏览体验，也能为平台增加收益。以往模型在对点击通过率进行建模预测时，保留所有的交互特征存在信息冗余，交互低效等问题。针对这一问题提出了一种面向点击通过率预测的交互边选择模型，通过自动识别冗余信息来动态选择有益的交互特征，主要由交互边选择网络层，图节点相似度注意力层构成。交互边选择网络层引入过滤阈值机制并结合动态关联矩阵来去除冗余信息，图节点相似度注意力层通过学习相似度权重矩阵来解决节点过度平滑问题。在Criteo和Avazu两个公开数据集上的大量实验证明，该模型的预测能力优于已有模型。     

增强型注意力网络点击通过率预估方法

针对以往模型在对点击通过率(click-through rate,CTR)进行建模预测时,存在着特征重要性学习不足、特征交互低效等问题,提出了一种增强型注意力网络预估模型,用于动态学习特征重要性和特征交互信息,模型主要由注意力层、双线性交互层和全连接神经网络层构成。注意力层的多尺度多头自注意力机制通过设置不同尺寸子空间增强特征重要性学习能力,在得到特征重要性后,进一步采用张量积双线性交互学习特征交互信息。通过对注意力的子空间尺寸大小、张量积交互形式、神经网络层数和节点个数等进行定量分析,确定模型的最佳参数。实验证明,该模型相比已有模型拥有更好的预测能力。     

基于改进FM算法和注意力机制的深度点击率预估模型

针对目前的广告点击率预估模型未能充分学习低阶特征且忽略了不同高阶特征对模型准确率的影响不同的问题,提出了一种基于注意力机制和深度学习的点击率预估模型。该模型采用改进因子分解机(Factorization machine, FM)算法,将全息简化表示(Holographic reduced representation, HRR)的压缩外积用于FM中,从而更好地学习低阶特征,帮助模型获得更好地表示。采用深度神经网络(Deep neural network, DNN)对高阶特征建模学习。引入注意力神经网络区分不同高阶特征交互的重要性来更好地学习高阶特征,从而得到一种能够同时有效学习到低阶特征和高阶特的点击率(Click-through rate, CTR)模型——基于改进FM算法和注意力机制的深度点击率预估模型(Deep click rate prediction model based on attention mechanism and improved FM algorithm, DAHFM)以提升模型的预估性能。在Criteo和MovieLens-1M数据集上大量的实验表明,DAHFM模型相比逻辑回归(Logistic regression, LR)、FM和DeepFM等模型不仅有效学习了特征信息,而且一定程度上提升了模型的性能和点击率的预估效果。     

基于混合模型的广告转化率问题研究

现有广告转化率预估模型缺乏对深层特征间相互作用的研究,针对这一问题提出了一种新的混合模型.通过高效的梯度提升机(light gradient boosting machine,LightGBM)模型提取高阶组合特征,并结合基于区域的因子分解机(field-aware factorization machines,FFM)模型有效处理稀疏数据的优点进行转化率的预估.为了验证模型的有效性和泛化能力,在两个数据集上讨论了参数对预估结果的影响,并将模型与其他模型进行对比实验.实验结果表明提出的混合模型的预估结果更准确.     

基于增强型FNN的广告点击率预测模型

为了进一步提高点击率(Click-through rate,CTR)预测模型学习有效特征组合的能力,该文提出一种基于增强型因子分解向量输入神经网络(Enhanced factorization machine supported neural network,EFNN)的广告点击率预测模型。该模型在基于因子分解向量输入神经网络(Factorization machine supported neural network,FNN)的基础上增加了新特征生成层,采用一种针对CTR数据的卷积操作,对数据进行通道变换后引入Inception结构进行卷积,将生成的新特征和原始特征结合,提升了深度网络的学习能力。实验结果证明,添加了新特征生成层的增强型FNN能有效提高广告点击事件的预测准确率。     

基于压缩激励网络的注意力因子分解机的点击率预测模型

在互联网技术日趋成熟的今天,广告的点击率(click-through rate, CTR)预测得到越来越多的关注。在特定的商业环境下,广告CTR预测模型的改进可以带来巨大的经济效益。然而特征的多样性和复杂性使得传统的预测模型难以发现海量特征中的重要特征。针对上述问题,提出了基于压缩激励网络的注意力因子分解机的点击率预测模型(squeeze and excitation network based attentional factorization machines model for click-through rate prediction, SEAFM),SEAFM模型通过压缩和激励网络来动态学习特征的重要性,通过注意力网络来学习特征交互的权重,通过深度神经网络(deep neural network, DNN)模块来隐式建模高阶特征交互。实验结果显示,SEAFM模型比现有相关模型具有更好的性能。     

大学生性别差异和年级差异对英语四级考试通过率的影响分析

用对数线性模型分析大学生性别差异和年级差异对英语四级考试通过率的影响,先进行模型拟合再进行参数估计,拟合模型时从饱和模型入手,由高阶交互项逐步排除无统计意义的参数项,直到选出一个能较好完成数据拟合的简约模型为止。大学生性别差异、年级差异与英语四级考试通过率都存在显著的交互效应,女性的四级通过率要高于男性,低年级学生比高年级学生更容易通过四级考试。     

基于深度残差反向传播神经网络的钢筋腐蚀检测

针对小样本数据下浅层神经网络模型拟合能力不足,而加深网络层数出现网络性能退化问题,提出一种双跳跃深度残差BP神经网络模型,每个残差块堆叠三个同维度网络层,在网络的一、二层和一、三层之间加入双跳跃连接,增强浅层低非线性度特征信息向深层网络的直接传递和重复利用,且在反向传播过程中避免了梯度消失,提升模型分类准确率。同时引入一阶矩估计梯度指数加权平均因子对Adam算法中影响学习率的二阶矩估计梯度进行调整,优化网络的收敛能力。将改进后的算法模型用于钢筋腐蚀样本数据训练及测试,仿真结果表明,改进后的算法模型具有更好的分类性能。     

基于多级深度特征与随机游走的显著性检测

为了解决图像显著性检测中传统方法特征学习不全面、复杂场景下显著区域凸出不明显的问题,提出了一种基于多级深度特征和随机游走的显著性检测算法。首先,利用全卷积神经网络,结合深层和浅层卷积特征信息对图像进行多级卷积深度特征提取;然后,对图像进行超像素分割,将提取的深度卷积特征分配给相应的超像素,构建特征矩阵;最后,通过正则化随机游走排序模型生成最终的显著图。在ECSSD和DUT-OMRON数据库上的实验结果表明,与6种具有代表性的显著性检测算法相比,文中算法的准确性和F值具有一定的优势。     

基于KPCANet和线性判别分析的表情识别

针对目前多数表情识别算法都是基于浅层特征的,很难达到良好的识别效果,并且核主成分分析网络(PCANet)网络存在提取到的表情特征维数比较高致使识别时间较长和分类效率较低的问题,受到深度学习模型PCANet的启发,提出了一种结合核主成分分析网络(KPCANet)和线性判别分析(LDA)的表情识别算法.首先,利用基于KPCANet模型获取训练样本及测试样本的深层特征;然后,用LDA监督层对KPCANet模型获取的深层特征对表情图像特征进行监督投影,从而使表情特征具有类别区分性;最后,将经LDA投影的特征矩阵输入支持向量机(SVM)中对表情特征进行训练和分类.提出的KPCANet-LDA算法模型在人脸表情数据库CK+和JAFFE上进行实验,实验结果表明提出的算法具有良好的鲁棒性且识别率高于其他对比算法.     

基于强化学习的特征选择方法及材料学应用

随着大数据、人工智能以及高性能计算的快速发展, 数据驱动的新材料研发成为研究热点. 在对材料数据进行数据挖掘的过程中, 需要对特征集合进行预处理, 通过减少无关冗余特征, 不仅可以避免模型过拟合, 还能提高模型的可解释性. 基于此, 提出了一种基于强化学习的特征选择(feature selection based on reinforcement learning, FSRL) 算法, 将封装式特征选择抽象成机器学习模型和"环境"互动的过程, 并根据利益最大化准则将对应特征加入特征子集中. 同时, 为了提高模型的预测精度, 还提出一种基于符号变换的特征构造方法来生成新的特征. 最后, 将所提出方法应用到非晶合金材料的分类预测任务和铝基复合材料的回归任务中. 实验结果表明, FSRL 算法的分类准确率最高提升了 2.8%, 而在回归任务中, 基于特征构造的 FSRL 算法使得预测精度最高提升了 22.9%.     

面向同源蛋白质探测的一种新型混合深度学习模型

根据蛋白质氨基酸链探测其同源蛋白质,进而预测蛋白质的功能,是生物信息学研究领域的一个重要挑战,也是众多生物医学研究领域的基础研究内容,有着重要的科研价值和广泛的应用需求。其研究难点在于:(1)如何学习对同源蛋白质预测有效、有用的蛋白质特征信息;(2)如何更好地运用蛋白质特征信息,实现同源蛋白质的探测与识别。为了解决同源蛋白质探测与识别研究中的关键难点,本文提出一种基于混合深度学习架构的同源蛋白质探测与识别模型(HDLM-PHP)。通过采用统一的"管道式"深度学习架构,将蛋白质特征学习和探测识别统一为一个整体,提高同源蛋白质探测与识别的效能。采用多组并行的深度卷积神经网络,学习蛋白质的各种属性信息,以期获得丰富的待检测蛋白质和靶蛋白质的高级相关性特征,并通过全连接方式使用多层RBM结构融合和精炼这些相关性特征为全局相关性特征。通过统一的深度网络连接方式,以探测和识别任务为导向,学习到对于同源蛋白质预测最有效、最全面的蛋白质特征信息。在标准数据集SCOPe上,对所提模型进行性能与效率评测,结果表明:本文提出的模型能有效地学习到符合任务导向的蛋白质特征数据,提升同源蛋白质探测与识别的准确度和召回率,优于现有的模型和算法。     

特征增强U形网络的图像语义分割

复杂场景语义分割任务是对场景图像逐像素进行分类并标记.图像中目标种类多,尺度多样的特点给分割任务增加了难度,提出了特征增强U形卷积神经网络(feature enhanced U shape networks,FEUNet)是一种改进的编码器加解码器的结构,编码阶段引入局部特征增强模块(local feature enhanced,LFE)提取局部感知特征来改善非显著目标的分割效果;考虑到神经网络深层和浅层之间特征表达的差异,在解码阶段利用全局池化方法(global pooling)设计全局特征增强模块(global feature enhanced,GFE),实现选择性地从深层特征图提取上下文信息作为对浅层特征图的指导,改善深层和浅层特征图的融合,保证同类像素预测的一致性.采用CamVid和Cityscapes数据集进行试验,模型mIOU测评值分别达到64.5％和73.2％,对比其他主流语义分割算法,该方法在分割性能和模型体积上具有一定竞争力.     

广告点击率估算技术综述

计算广告是根据给定的用户和网页内容,通过计算得到与之最匹配的广告并进行精准定向投放的一种广告投放机制.广告的点击率预测是指利用点击日志预测的点击率,其结果受到广告的自身性质、广告位置、页面信息、用户性质,以及广告主信誉等诸多因素的影响.有效地预测广告的点击率,对于提高广告投放的效率有着至关重要的作用.本文介绍了广告点击率预测的常用模型,包括历史数据丰富的广告点击率预测模型、新广告和稀疏广告的点击率估算模型和点击率预测的优化模型,并通过真实数据集举例说明了其实现的方法.     

基于深度森林算法的油井产量预测研究

为了克服传统机器学习算法产量预测模型的缺点,以深度森林算法理论为基础,综合油井相关各项数据,建立了油井产量预测新模型。首先应用KNN最邻近方法和Z-Score标准化方法对油井相关数据进行预处理,利用MDI特征选择方法选择对油井产量影响最大的特征向量,然后将选出的特征向量作为深度森林模型的输入变量,建立深度森林产量预测模型,利用网格化搜索优化模型参数,最后在测试集上运行模型,对模型性能进行评估。研究结果表明,相对于BP神经网络等传统机器学习算法模型,深度森林模型的产量预测精度更高,可以准确预测油井产量,同时相对于深度神经网络等复杂学习算法,该算法参数少、调参及应用简单,为油井产量预测提供了一种新的方法和思路。     

基于CGRU模型的语音情感识别研究与实现

语音情感识别是人机交互、情感计算中重要的研究方向.目前普遍使用深度神经网络用于语音情感特征的提取，但使用哪种神经网络模型、如何缓解模型过拟合问题还需进一步研究.针对这些问题，提出了一种结合一维卷积(CNN)以及门控循环单元(GRU)的CGRU模型，从原始语音信号的MFCC特征中提取语音的低阶以及高阶情感特征，并通过随机森林对其进行特征选择，在三种公用的情感语料库EMODB，SAVEE，RAVDESS上分别取得了79%，69%以及75%的识别精度.通过添加高斯噪声及改变速度等方法来增加样本量实现数据扩充，进一步提高了识别精度.通过在线识别系统验证了模型在实际环境中的可用性.     

基于深度学习的岩石铸体薄片图像孔隙自动提取

岩石铸体薄片图像中孔隙区域的准确提取是分析评估工作的前提。但目前传统的孔隙提取方法主要是通过颜色特征进行阈值分割,精度较低,需加入大量的人工交互操作才能提高精度。因此提出一种新的基于深度学习的孔隙区域自动提取算法,该算法基于U-net搭建网络基本框架。首先,网络在编码阶段加入残差块来提升网络的深度。其次,针对残差块进行优化并引入空洞卷积,提取更全局、语义层次更深的特征。最后,在解码阶段加入网络模块间的短连接,提出新的融合特征方法,更好地将浅层特征与深层语义特征相结合,得到更加精细的孔隙区域。实验结果表明,该方法优于传统的孔隙提取方法,具有更高的分割精度且无需人工操作,与主流卷积神经网络相比也具有更高的精度和平均交并比。     

基于二向注意力循环神经网络的PM2.5浓度预测

针对PM2.5浓度预测模型效果不稳定、泛化能力差的问题,以循环神经网络和注意力机制为基础,提出了二向注意力循环神经网络（TDA RNN）。首先,TDA-RNN模型通过注意力机制获取输入数据的时序注意力和类别注意力,并将其进行融合;然后通过特征编码器对融合后的数据进行编码,获得中间特征;最后将中间特征与PM2.5浓度的历史信息融合,并通过特征解码器获取预测值。对北京地区的PM2.5浓度进行了预测。结果表明,相比前向型神经网络、长短期记忆神经网络、门控循环单元模型和滑动平均模型,TDA-RNN模型预测精度更高;在抗干扰测试中,当输入数据存在无关因素时,TDA RNN模型的预测精度出现轻微下降,但仍高于其他模型。该二向注意力循环神经网络特征提取能力强,预测精度高,同时可适用于其他场景的多变量时间序列预测。     

基于ME-ANet模型的糖尿病视网膜病变分级

糖尿病视网膜病变(Diabetic Retinopathy，DR)是一种致盲率很高的眼科疾病。不同病变等级的视网膜图像之间差异小且病灶点分布无规律。针对现有深度模型对DR中的相似病灶点识别率低，严重影响模型分类精度的问题，本研究以深度学习为基础，构建新的模型架构进行训练，提出一种集成MobileNetV2和EfficientNetB0深度模型的注意力网络：ME-ANet。模型集成分为头部和主干两部分，将深度模型的浅层部分融合构成网络的头部，训练时采用迁移学习的策略对网络模型参数进行初始化，减少训练中的过拟合问题。主干部分利用上述两种模型的核心结构，设计3个阶段集成模块进行特征提取。同时设计全局注意力机制(Global Attention Mechanism，GAM)并分别嵌入到3个阶段的集成模块中。模型的改进加速了网络的收敛速度，该网络模型实现了对图像浅层信息的特征融合提取，减少了微病灶特征信息在训练过程中的卷积丢失问题，模型的分类精度进一步得到改善。通过模型集成构建特征提取主干网络，提高了模型对低级特征信息的学习，注意力机制抑制非病变特征信息，强化典型病灶特征学习，从而实现细粒度分类，进一步提升了模型的分类性能。     

基于MW-REF算法的心肺复苏影响因素分析

针对传统模型对心肺复苏结果预测准确率较低、模型可解释性较差,提出了一种基于多模型加权递归消除法(MW-REF)的心肺复苏结果预测模型,并在Shapley加法解释(Shapley additive explanation, SHAP)框架下分析影响心肺复苏结果的关键因素。采用了随机森林、GBDT、XGBOOST作为基模型,将其特征重要性得分加权后使用递归消除法过滤特征并对3种及模型采用Voting进行模型融合,利用五折交叉验证下的准确率作为最终特征选择标准。最后对最终特征数据集下的融合模型进行可解释性分析。实验结果表明,与传统的递归特征消除算法对比,该模型提升了心肺复苏结果预测的准确率,模型预测结果具有可解释性,可为临床诊断提供辅助,提高诊断效率与心肺复苏成功率。