基于注意力模型的卷积循环神经网络城市声音识别

环境声音识别（Eenvironment Ssound Rrecognition ,ESR）在基于情景感知和辅助技术等领域发挥着重要作用。卷积神经网络（CNN）和循环神经网络（RNN）作为两种最具代表性的特征提取方法,在语音和音乐信号处理方面都取得显著效果,然而二者都存在一定缺点,CNN无法有效提取时间特征,RNN在提取空间特征上也存在明显劣势。为了有效的提取并利用时间特征和空间特征,提出一种新模型,利用时间分布卷积神经网络（CNN）从梅尔频谱图中提取城市环境声音特征,然后应用双向长短时记忆网络（BiLSTM）从CNN输出中获取时间信息,最后在BRNN的输出序列上实施注意力机制,从而关注到与城市环境声音最相关的特征进而做出分类判断,注意力机制既提高了分类准确性,又增强了模型的可解释性。实验结果表明,在Urbansound8K数据集中,该模型可获得80.2%的分类准确率,这优于以前在同一数据集的报告结果     

基于神经网络模型的影评情感分析研究

随着网络的不断发展,越来越多的人们在网络中发表自己的言论,这些带有情感性的文本能够反映出人们的意见信息,对这些文本进行情感分析研究是文本分类的一个重要任务.文中提出了一种加入注意力机制的联合神经网络(convolutional neural network+long shout-term memory,CNN+ LST...     

多尺度卷积循环神经网络的情感分类技术

结合卷积神经网络对于特征提取的优势和循环神经网络的长短时记忆算法的优势,提出一种新的基于多尺度的卷积循环神经网络模型,利用卷积神经网络中的多尺寸滤波器提取出具有丰富上下文关系的词特征,循环神经网络中的长短时记忆算法将提取到的词特征与句子的结构联系起来,从而完成文本情感分类任务.实验结果表明:与多种文本情感分类方法相比,文中算法具有较高的精度.     

基于ERNIE和双重注意力机制的微博情感分析

针对传统词向量无法在上下文中表示词的多义性,以及先验的情感资源未能在神经网络中得到充分利用等问题,提出一种基于知识增强语义表示（Enhanced Representation through Knowledge Integration,ERNIE）和双重注意力机制（Dual Attention Mechanism, DAM）的微博情感分析模型ERNIE-DAM.首先利用现有的情感资源构建一个包含情感词、否定词和程度副词的情感资源库;其次采用BLSTM网络和全连接网络分别对文本和文本中包含的情感信息进行编码,不同的注意力机制分别用于提取文本和情感信息中的上下文关系特征和情感特征,并且均采用ERNIE预训练模型获取文本的动态特征表示;最后将上下文关系特征和情感特征进行拼接融合,获取最终的特征向量表示.实验结果表明,新模型在COAE2014和weibo＿senti＿100k数据集上的分类准确率分别达到了94.50%和98.23%,同时也验证了将情感资源运用到神经网络中的有效性.     

注意力机制的长短时记忆神经网络航线订座需求预测

针对航线订座需求预测中存在的预测结果不稳定,偏差较大的问题,提出了一种基于注意力机制 的长短时记忆神经网络(Long Short-term Memory Neural Network,LSTM)航线订座需求预测模型。首先, 对采集得到的航线订座需求数据进行数据清洗与指标计算处理,接着,对处理后的指标数据基于注意力机 制做权重分配,然后进行 LSTM 航线订座需求预测模型的建立,从而得到航线订座需求的最终预测结果 值。将训练优化得到的模型应用于国内某航司的航线订座需求预测中,计算出预测结果。实验结果表明, 基于注意力机制的 LSTM 航线订座需求预测模型预测精度较高,以厦门-上海为例,预测结果在与真实值 的对比下,平均绝对误差(Mean Absolute Error,MAE)为 13.1,均方根误差(Root Mean Square Error,RMSE) 为 17.2,相比较于移动平均法,指数平滑法,循环神经网络（Recurrent Neural Network,,RNN）,CNN-LSTM 混合模型有较好的预测效果。     

注意力机制的长短时记忆神经网络航线订座需求预测

针对航线订座需求预测中存在的预测结果不稳定,偏差较大的问题,提出一种基于注意力机制的长短时记忆神经网络航线订座需求预测模型. 首先,对采集得到的航线订座需求数据进行数据清洗与指标计算处理;接着,对处理后的指标数据基于注意力机制做权重分配;然后进行长短时记忆神经网络航线订座需求预测模型的建立,从而得到航线订座需求的最终预测结果值. 将训练优化得到的模型应用于国内某航司的航线订座需求预测中,计算出预测结果. 实验结果表明,基于注意力机制的长短时记忆神经网络航线订座需求预测模型预测精度较高,以厦门-上海航线为例,预测结果与真实值对比,平均绝对误差为13.1,均方根误差为17.2,相比较于移动平均法、指数平滑法及循环神经网络,CNN-LSTM混合模型有较好的预测效果.     

基于深度神经网络的语音情感识别方法

语音情感识别是人机交互的重要方向,可广泛应用于人机交互和呼叫中心等领域,有很大应用价值。近年来,深度神经网络在识别情感方面取得了巨大成功,但现有方法对高层语音特征提取会丢失大量原始信息并且识别准确率不高,本文提出了一种新的语音情感识别方法,由卷积神经网络从原始信号中提取特征,并在其堆叠一个2层长短时记忆神经网络,最终识别准确率达到91.74%,本文方法显著优于基于EMO-DB数据集等其他方法。     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力...     

一种双向长短时记忆循环神经网络的问句语义关系识别方法

提出一种基于双向长短时记忆循环神经网络的问句语义关系识别方法.利用循环神经网络直接从词学习问句的语义特征表示,不需要自然语言处理工具进行特征抽取,有效避免了误差传递问题.同时,在网络中加入双向结构和长短时记忆模块,有效改善传统循环神经网络在训练过程中的"梯度弥散"问题.加入基于主实体位置的分段最大池化操作,相对于传统单一最大池化,能保留问句文本中的有效语义特征.通过在电力领域真实问题集上实验比较,本方法相对于传统方法能有效提升问句语义关系识别的性能,问句语义关系分类结果F1值提高4.5%.     

基于注意力机制的区域小学入学规模预测

学龄人口是区域教育资源配置的重要依据,对区域内下一年小学入学规模进行准确预测,可以为区域内教育管理部门对教育资源进行调配提供辅助决策支持.该文针对区域内小学入学规模预测问题,考虑区域经济、人口等相关因素和小学入学规模的关联关系,提出了基于注意力机制的循环网络预测模型.该模型以长短时记忆网络模型为基础,引入注意力机制,自动提取小学入学规模与经济、人口等特征之间的关联关系以及进一步增强历史关键时间点的信息表达,提升预测准确率.在采用真实数据集进行试验的结果说明,该模型对比其它模型在多个评价指标上均有提升,具有更准确和更稳定的预测效果.     

基于混合神经网络的中文隐式情感分析

隐式情感分析是情感计算的重要组成部分,尤其是基于深度学习的情感分析近年来成为了研究热点.本文利用卷积神经网络对文本进行特征提取,结合长短期记忆网络(LSTM)结构提取上下文信息,并且在网络中加入注意力机制,构建一种新型混合神经网络模型,实现对文本隐式情感的分析.混合神经网络模型分别从单词级和句子级的层次结构中提取更有意义的句子语义和结构等隐藏特征,通过注意力机制关注情绪贡献率较大的特征.该模型在公开的隐式情感数据集上分类准确率达到了77%.隐式情感分析的研究可以更全面地提高文本情感分析效果,进一步推动文本情感分析在知识嵌入、文本表示学习、用户建模和自然语言等领域的应用.     

基于Attention机制的LSTM股价预测模型

针对时间序列分析方法和神经网络对于股价预测具有一定局限性的问题,将基于Attention机制的LSTM模型应用于股价预测;以2014-01-02—2020-09-22日的上证工业指数、上证环保指数等相关数据为样本,在LSTM模型中引入Attention机制,使模型聚焦于重要的股价特征信息,预测股票第二日的最高价;实证研...     

基于二向注意力循环神经网络的PM2.5浓度预测

针对PM2.5浓度预测模型效果不稳定、泛化能力差的问题,以循环神经网络和注意力机制为基础,提出了二向注意力循环神经网络（TDA RNN）。首先,TDA-RNN模型通过注意力机制获取输入数据的时序注意力和类别注意力,并将其进行融合;然后通过特征编码器对融合后的数据进行编码,获得中间特征;最后将中间特征与PM2.5浓度的历史信息融合,并通过特征解码器获取预测值。对北京地区的PM2.5浓度进行了预测。结果表明,相比前向型神经网络、长短期记忆神经网络、门控循环单元模型和滑动平均模型,TDA-RNN模型预测精度更高;在抗干扰测试中,当输入数据存在无关因素时,TDA RNN模型的预测精度出现轻微下降,但仍高于其他模型。该二向注意力循环神经网络特征提取能力强,预测精度高,同时可适用于其他场景的多变量时间序列预测。     

递归神经网络研究综述

递归神经网络(RNN)因具存储特性,可以处理前后输入有关系的序列数据,故广泛应用于文本音频、视频等领域.当输入间隙较大时,RNN存在短期记忆问题,无法处理很长的输入序列,而长短期记忆(LSTM)能很好地处理长期依赖性问题.自LSTM提出以来,几乎所有基于RNNs的令人兴奋的结果都是由LSTM实现的,因此LSTM成为深度...     

基于融合注意力机制与CNN-LSTM的人体行为识别算法

为解决单一的卷积神经网络（CNN）缺乏利用时序信息与单一循环神经网络（RNN）对局部信息把握不全问题,提出了融合注意力机制与时空网络的深度学习模型（CLA-net）的人体行为识别方法。首先,通过CNN的强学习能力提取局部特征;其次,利用长短时记忆网络（LSTM）提取时序信息;再次,运用注意力机制获取并优化最重要的特征;最后使用softmax分类器对识别结果进行分类。仿真实验结果表明,CLA-net模型在UCI HAR和DaLiAc数据集上的准确率分别达到95.35%、99.43%,F1值分别达到95.35%、99.43%,均优于对比实验模型,有效提高了识别精度。     

融合BERT中间隐藏层的方面级情感分析模型

现有的基于BERT(bidirectional encoder representations from transformers)的方面级情感分析模型仅使用BERT最后一层隐藏层的输出,忽略BERT中间隐藏层的语义信息,存在信息利用不充分的问题,提出一种融合BERT中间隐藏层的方面级情感分析模型。首先,将评论和方面信息拼接为句子对输入BERT模型,通过BERT的自注意力机制建立评论与方面信息的联系;其次,构建门控卷积网络(gated convolutional neural network, GCNN)对BERT所有隐藏层输出的词向量矩阵进行特征提取,并将提取的特征进行最大池化、拼接得到特征序列;然后,使用双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络对特征序列进行融合,编码BERT不同隐藏层的信息;最后,引入注意力机制,根据特征与方面信息的相关程度赋予权值。在公开的SemEval2014 Task4评论数据集上的实验结果表明：所提模型在准确率和F₁值两种评价指标上均优于BERT、CapsBERT(ca...     

基于投资者信念及神经元网络的指数预测

分析了金融学的新发展对短期定量预测技术的理论支持，基于用神经元网络预测选择变量困难的问题，提出了在价格和交易量趋势中挖掘投资者信念作为预测依据的新思路，并用上证30指数进行了预测检验，结果显示挖掘投资者信念和神经元网络结合能够产生预测能力。