基于卷积神经网络的中文新闻文本分类

经典的卷积神经网络文本分类模型仅仅着眼于全局特征,没有考虑到局部特征.为了解决此问题,引入了注意力机制,用于提取文本中的关键词,把全局特征与局部特征综合在一起,使得文本的特征表达更加丰富.实验结果表明:卷积神经网络分类模型比传统的机器学习方法分类效果更好,而引入注意力机制后的卷积神经网络模型相比于经典的文本分类模型,分类效果也有了一定程度的提高.     

基于自注意力机制的TransNet推荐模型

在神经网络的推荐模型基础上引入自注意力机制，提出一种改进的基于自注意力机制TransNet推荐模型SATransNet。SATransNet模型使用卷积神经网络提取评论特征，通过自注意力神经网络自动学习特征内部的依赖关系，由依赖关系来决定需要关注的特征，从而解决数据表达能力不足的缺陷。本文在不同数据集上进行了实验比较与分析，SATransNet推荐模型在不同数据集上的预测评分较好，均方误差总体呈优。与基于注意力机制的推荐模型相比，SATransNet推荐模型的归一化折损累计增益均有提升，具有较好的预测评分效果和推荐相关性。     

基于双编码器的会话型推荐模型

针对现有会话型推荐模型难以准确捕获物品间全局依赖的问题,提出了一种基于双编码器的会话型推荐模型(SR-BE)。该双编码器由基于自注意力网络的全局编码器和基于图神经网络的局部编码器组成,无论被浏览物品之间的时间间隔长还是短,全局编码器都能够利用注意力机制自适应地捕获被浏览物品之间的全局依赖,并将其编码为全局隐向量。为弥补自注意力网络没有结构信息而难以捕获邻近物品间局部依赖的不足,在局部编码器中,首先将会话序列构建成会话图,然后通过图神经网络在会话图上捕获邻近物品间的局部依赖,并将其编码为局部隐向量。最后将从双编码器得到的全局隐向量和局部隐向量线性组合为会话表示,再通过预测层解码会话表示得到每个候选物品被点击的概率。实验结果表明:将基于自注意力网络的全局编码器与基于图神经网络的局部编码器结合在一起,比单一地使用全局编码器或局部编码器在命中率上分别提高了3.11%和6.55%。通过与同类模型客观定量比较,SR-BE模型在两个公开数据集上取得了突出的效果,表明该模型有效、可行。     

基于评分与文本融合的多注意力跨域推荐算法

为解决在目标领域推荐过程中用户与物品交互数据的稀疏性问题,提出一种新的跨域推荐模型。将辅助领域中的知识迁移到目标域中,基于前馈神经网络分别获得评分信息与评论文本信息的域独有特征;通过采用基于神经网络的特征提取器与基于向量嵌入的域鉴别器融合后的对抗模型,获得评分信息与评论文本信息的域共享特征;再基于多层注意力机制将域独有特征与域共享特征进行融合,从而获得用户对物品的兴趣度。研究结果表明：对于两种经典的推荐评价性能指标,所提出的模型在Amazon数据集上可以获得更好的推荐性能。     

基于多路融合卷积神经网络的网购商品情感分类

通过提出一种多路融合卷积神经网络(multi-mixed convolutional neural network,MMCNN)对网购商品评论数据进行文本情感分类。采用skip-gram模型进行词向量的训练,并用训练好的向量表示评论数据。针对评论数据长短不一的情况,提出了循环词向量填充和随机词向量填充算法,有助于提升模型分类的准确率。针对传统卷积神经网络特征提取方式单一的问题,将多路卷积特征和池化特征在全连接层进行了特征融合,以此提升网络的文本分类效果。选择京东网站上45 000条婴儿奶粉的评论数据进行试验,并与支持向量机、最大熵模型、朴素贝叶斯等传统机器学习方法以及经典卷积神经网络方法进行对比。试验结果表明,提出的多路融合卷积神经网络具有较高的分类正确率。     

基于预训练模型和混合神经网络的医疗实体关系抽取

医疗文本具有实体密度高、句式冗长等特点,简单的神经网络方法不能很好地捕获其语义特征,因此提出一种基于预训练模型的混合神经网络方法。首先使用预训练模型获取动态词向量,并提取实体标记特征;然后通过双向长短期记忆网络获取医疗文本的上下文特征,同时使用卷积神经网络获取文本的局部特征;再使用注意力机制对序列特征进行加权,获取文本全局语义特征;最后将实体标记特征与全局语义特征融合,并通过分类器得到抽取结果。在医疗领域数据集上的实体关系抽取实验结果表明,新提出的混合神经网络模型的性能比主流模型均有提升,说明这种多特征融合的方式可以提升实体关系抽取的效果。     

基于评论分析的评分预测与推荐

推荐系统广泛地应用在网络平台中,推荐模型需要预测用户的喜好,帮助用户找到适合的电影、书籍、音乐等商品.通过对用户评分和评论信息的分析,可以发现用户关注的商品特征,并根据商品的特征,推测用户对该商品的喜好程度.本文提出将评论中隐含的语义内容与评分相结合,设计并实现了一种新颖的商品推荐模型.首先利用主题模型挖掘评论文本中隐含的主题分布,用主题分布刻画用户偏好和商品画像,在逻辑回归模型上训练主题与打分的关系,最终评分可以被视为是对用户偏好和商品画像的相似程度的量化表示.最后,本文在真实数据上进行了大量对比实验,结果证明该模型比对比系统性能优越且稳定.     

基于多特征融合和深度学习的微观扩散预测

准确地预测社交网络中的信息扩散节点可以对谣言、计算机病毒等不良信息的传播以及信息泄露做到早检测、早溯源和早抑制。为了提高微观扩散预测精度,该文提出了一个基于多特征融合和深度学习的微观信息扩散预测通用框架(MFFDLP)。为了获取信息扩散的时序特征,基于信息扩散序列和社交网络图,采用门控循环神经网络提取局部时序特征和全局时序特征,并融合形成信息扩散序列表征;为了获取用户交互行为和兴趣爱好的动态表示,根据历史信息构建信息扩散图,使用级联图注意力网络提取信息扩散子图中节点特征和边特征,并通过嵌入查找,融合形成当前信息扩散序列中相应节点的动态扩散表征;使用双多头注意力机制,进一步捕获静态和动态扩散特征的上下文信息,实现了高精度微观扩散预测。在3个公共数据集上的对比实验结果表明：所提方法优于对比方法,在微观扩散预测的精度上最高提高了9.98%。     

基于混合神经网络的序列推荐算法

为了提高推荐算法的推荐性能,在序列建模过程中,针对循环神经网络(recurrent neural network,RNN)无法并行运算导致建模速度与准确度较低,以及在偏好预测过程中对用户不同阶段偏好没有动态融合的问题,提出了一种基于混合神经网络的序列推荐算法.在算法模型的用户交互序列建模阶段,考虑到用户近期偏好变化频繁,对于时间效率与推荐准确度都有更高的要求,引入时间卷积网络(temporal convolutional network,TCN)对近期交互序列进行建模,解决了循环神经网络建模速度和准确度较低的问题;在用户偏好预测阶段,在考虑用户近期与长期偏好的基础上,基于注意力机制动态融合了用户近期与长期2个交互阶段的偏好,从而提高了推荐的性能.在公共数据集MovieLens10M与LastFM上进行了实验,结果证明了模型的有效性.     

基于注意力卷积神经网络的中文虚假评论检测

针对现有的虚假评论检测方法未充分利用虚假评论文本特征这一问题,本文提出一种基于多层注意力机制的卷积神经网络模型。首先,使用多种预训练词向量初始化词嵌入层,并进行复值位置编码;然后,将经过多种卷积核卷积得到的多种特征映射依次通过嵌入用户特征的通道级和卷积核级的注意力层,根据特征重要程度分配不同权重;最后,将拟合的评论文本特征表示进行Softmax分类。实验结果表明,与诸多主流优秀神经网络模型相比,本文模型准确率和F₁值分别提高4.74和3.86个百分点。     

融合多源图信息的图神经网络会话推荐算法

现有的基于图神经网络的会话推荐算法通过将会话序列构筑为图形结构捕捉项目转换关系,能够有效提高推荐性能.然而多数图神经网络及其改进模型在建模会话时仅考虑会话序列中项目的单次转换关系,忽略了会话中包含的大量有效信息,同时缺乏对项目间隐藏关联性的分析.因此提出融合多源图信息的图神经网络会话推荐算法.将用户重复行为信息,项目内容关联信息纳入到会话图建模过程当中,有效提取项目更深层次的复杂转换关系,并通过线性转换进行聚合.此外采用外部注意力机制辅助获取会话序列项目隐藏关联信息,使得生成的会话向量在推荐过程中更加精确.在真实数据集Yoochoose和Diginetica上进行实验,实验结果表明该模型优于基准模型,特别地,相较于SR-GNN模型在MRR@20指标上提高了12.50%,能更好地预测用户的下一次点击项目.     

基于知识增强的深度新闻推荐网络

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息和深层次语义联系的缺失.针对该问题提出了一种基于知识增强的深度新闻推荐网络（deep knowledge-enhanced network,DKEN）,利用长短期记忆网络提取知识图谱中的实体路径特征,补充到注意力网络中,然后针对不同的候选新闻动态地构建用户的特征.实验表明该实体路径信息能提高模型的效果,在F₁指标上提升大约1%.      

基于图神经网络特征交叉的协同过滤算法

学习用户和项目有效的向量表示是推荐系统的核心目标,现有的推荐模型大多通过深度神经网络或专门设计的特征交叉,来学习用户-项目间的特征交叉生成用户(项目)向量表示,但并未将用户(项目)特征间的交叉信息编码到嵌入向量中充分利用特征交叉信息,且多个特征交叉信息对于生成最终的用户(项目)向量表示的影响不同.基于此,构建两个图神经网络模块,学习用户(项目)特征间的交叉信息、用户-项目之间的特征交叉信息,并通过计算注意力分数对特征交叉信息进行加权,得到用户(项目)的特征信息;然后通过门控循环神经网络(GRU)聚合原始的特征信息和网络层学习到的特征交叉信息,得到最终的用户(项目)向量表达;最后通过用户向量与项目向量的元素积得到最终的推荐结果.在数据集MovieLens 1M、Book-Crossing和Taobao上验证了模型的有效性.     

面向稀疏数据场景的生成对抗网络推荐算法

基于生成对抗网络的协同过滤算法(CFGAN)是生成对抗网络在个性化推荐领域上的重大突破,但CFGAN存在缺乏对用户可能交互物品的关注以及面对稀疏数据场景特征提取能力较弱的问题。另外,结合负采样技术提出的优化CFGAN方案存在无法结合用户属性抽取负样本的缺陷。为此,本文提出一种改进的CFGAN模型,通过引入增强的置换注意力机制强化面向稀疏数据集的特征聚焦能力,同时考虑用户可能交互物品对推荐结果的影响;此外,采用协同用户社交网络从用户反馈中提取的语义好友特征嵌入CFGAN,以实现负样本的个性化抽取,进一步提升模型面向稀疏数据场景的推荐效果。     

CNLSTM模型预测城市积水

物联网平台能够为积水预测提供海量的传感器时间序列数据基础.为了精准且快速地预测城市内涝点积水趋势,提出一种基于神经网络的组合时序预测模型(CNLSTM),对多变量积水时间序列数据进行建模预测.此模型利用卷积神经网络(convolutional neural network,CNN)提取多变量数据之间的空间特征,得到具有空间相关性的特征量,利用长短时记忆网络(long short-term memory,LSTM)提取特征量之间的时间相关性预测未来积水水位.仿真结果表明,所提预测模型可以很好地捕获积水点水位与各输入量之间的非线性关系,并且比CNN,LSTM以及反向传播(back propagation,BP)神经网络具有能更好拟合实际水位的效果,更高的精度和泛化能力.此模型在城市积水预测中的有效性和适用性得到了验证,能够为积水点的提前预警、准备及汛前、汛中汛后治理方案的制定提供可靠的参考依据.     

基于自监督学习的序列推荐算法

针对现有序列推荐算法易受数据稀疏影响以及对用户短期动态偏好建模不充分的问题,提出基于自监督学习的序列推荐算法。针对短期序列中的原始项目关系更易受到随机数据增强破坏的问题,对长短期序列使用不同的数据增强方法来构建更有效的自监督信号;利用对比式自监督学习框架对用户长期偏好和短期偏好进行多任务联合建模;针对现有自注意力机制无法建模序列中项目相对位置关系的问题,将自然语言处理领域中的解耦注意力机制引入到用户短期偏好学习过程中,充分捕获用户短期序列中项目的相对位置信息。实验结果证明了所提算法的有效性。     

智能网联交通混合标签感知的推荐预测模型

针对智能网联车辆高速移动以及智能网联组网模式多元化导致的传统协同过滤算法有效性受到限制的问题，提出一种新型混合标签感知推荐模型（hybrid tag-aware recommender model，HTRM）。嵌入层采用Word2Vec模型对项目标签、项目评分、用户行为标签和用户评分进行向量表示；特征层引入自编码器提取项目的自相似特征，采用长短期记忆网络（long short-term memory，LSTM）提取用户行为特征；门控层联合用户和项目的特征，并输入至全连接神经网络（fully connected neural network，FCNN）进行评分预测。实验结果表明，与TCF、CCF、ACF和DSPR传统模型相比，HTRM模型设计更合理，可以获得较高的推荐预测精度。     

推荐系统研究综述

随着互联网技术的快速发展,如何对海量网络信息进行挖掘分析,已成为热点和难点问题。推荐系统能够帮助用户在没有明确需求或者信息量巨大时解决信息过载的问题,为用户提供精准、快速的业务(如商品、项目、服务等)信息,成为近年来产业界和学术界共同的兴趣点和研究热点,但是,目前数据的种类多种多样并且应用场景广泛,在面对这种情况时,推荐系统也会遇到冷启动、稀疏矩阵等挑战。深度学习是机器学习的一个重要研究领域和分支,近年来发展迅猛。研究人员使用深度学习方法,在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。目前,深度学习在推荐领域也得到了许多研究人员的青睐,成为推荐领域的一个新方向。推荐方法中融合深度学习技术,可以有效解决传统推荐系统中冷启动、稀疏矩阵等问题,提高推荐系统的性能和推荐精度。文中主要对传统的推荐方法和当前深度学习技术中神经网络在推荐方法上的应用进行了归纳,其中传统推荐方法主要分为以下3类:1)基于内容推荐方法主要依据用户与项目之间的特征信息,用户之间的联系不会影响推荐结果,所以不存在冷启动和稀疏矩阵的问题,但是基于内容推荐的结果新颖程度低并且面临特征提取的问题。2)协同过滤推荐方法是目前应用最为广泛的一种方法,不需要有关用户或项目的信息,只基于用户和诸如点击、浏览和评级等项目的交互信息做出准确的推荐。虽然该方法简单有效但是会出现稀疏矩阵和冷启动的问题。3)混合推荐方法融合了前2种传统推荐方法的特点,能取得很好的推荐效果,但在处理文本、图像等多源异构辅助信息时仍面临一些挑战与困难。依据神经网络基于深度学习的推荐方法主要分为4类:基于深度神经网络(DNN)的推荐方法、基于卷积神经网络(CNN)的推荐方法、基于循环神经网络(RNN)和长短期记忆神经网络(LSTM)的推荐方法、基于图神经网络(GNN)的推荐方法、将深度学习技术融入到推荐领域,构造的模型具有以下优势:具有较强的表征能力,可以直接从内容中提取用户和项目特征;具有较强的抗噪能力,可以轻易地处理含有噪声的数据;可以对动态或者序列数据进行建模;可以更加精准地学习用户或项目特征;便于对数据进行统一处理,并且可以处理大规模数据。将深度学习技术应用到推荐领域,可以积极有效地应对传统推荐方法面临的挑战,提高推荐效果。     

基于深度学习的城市区域短时交通拥堵预测算法

城市的交通拥堵已经成为了各个城市中的普遍现象，严重影响了城市日常交通以及人们的出行。针对城市区域交通流的研究与分析，本文为了准确的对城市交通状态进行预测，通过网格划分的方法，把城市区域划分为多个区域，根据城市交通数据流的时空特征，提出了一种基于深度学习的城市交通拥堵预测模型（CS-Transformer）。该模型通过使用卷积神经网络(CNN)提取基于网格划分的城市区域交通数据的空间特征，然后采用全连接神经网络增强模型的表达能力，再通过相似性位置编码机制(SPEM)把位置信息加入交通数据中，最后运用Transformer网络捕捉交通数据的时间依赖特征。用成都市出租车GPS数据对模型进行验证，结果表明该模型预测结果优于卷积神经网络（CNN）、Transformer和CNN-Transformer等模型，以均方误差（MSE）为评价指标，将测试集中交通路网的平均预测精度分别提高了 19.6%、26.3%和10%。     

融合多源数据的股指预测研究

金融市场中股票价格的变动受到多方面因素的影响,如何更好地利用更多的大数据为投资决策进行服务始终是各方研究的重点。本研究以沪深300指数为研究对象,采用图像化处理的方式融合财经新闻、市场交易数据和技术指标等多源异构数据,建立了卷积神经网络模型,对未来不同时间长度的股指图像数据进行涨跌预测。通过对模型结构的稳健性检验,使用60天融合新闻情绪、技术指标与股价三类图片的三层图片预测模型,预测股指未来5天后的涨跌样本外准确率可达65.2%。融合多源数据后的图片数据能够丰富单一的股价数据,从而提升了模型的预测准确率。通过与传统的线形模型、LSTM循环神经网络模型及其他经典卷积神经网络模型比较,本研究构建的预测模型在样本外预测效果最佳,表明本研究构建的基于多源异构数据的图片预测模型在股指预测中具有可行性和一定优势。