基于自注意力机制的多特征融合槽抽取模型

在任务型人机对话系统中,槽抽取任务是至关重要的一个环节.为了提高槽抽取模型的识别准确率,该文提出了一种利用自注意力机制融合文本的多特征维度特征的方法.该方法在常规的双向长短期记忆模型(Bi-directional long short-term memory,Bi-LSTM)和条件随机场(Conditional ran...     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks, CNN)结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F₁,有效地提升了文本分类的效果。     

基于自注意力机制与BiLSTM的短文本匹配模型

现有短文本匹配方法更多关注于句子之间的交互方式,而较少考虑短文本自身关键特征的提取,为此本文提出一个融合自注意力机制和双向长短期记忆网络(BiLSTM)的短文本匹配模型。首先利用BiLSTM和自注意力机制进行特征编码,通过残差连接缓解信息丢失问题;然后利用双向注意力网络进行特征交叉,得到考虑了两个短文本之间交互影响的编码形式;最后将自注意力编码与双向注意力编码进行拼接,既能保留句子本身的重要特征,又能得到交互的特征信息。在两个公开数据集Quora和MRPC上进行对比实验,结果表明,该模型能有效改善短文本匹配性能,特别是在Quora数据集上的准确率达到87.59%,明显优于其他6种常见的同类模型。     

基于自注意力与分段卷积神经网络的实体关系抽取

远程监督通过已有知识库的关系三元组和自然语言文本语料库进行启发式匹配,获得数据来完成关系抽取任务,解决有监督学习方法完全依赖人工标注数据的问题,但远程监督数据中会存在大量噪声关系标签.针对以上问题,提出了一种结合自注意力机制和分段卷积神经网络的实体关系抽取模型SAPCNN,首先通过自注意力机制捕获词与词之间的全局相关性...     

基于CNN-ATTBiLSTM的文本情感分析

卷积神经网络(CNN)和循环神经网络(RNN)已经被证明在文本情感分析中是有效的文本表示模型。然而,CNN只考虑连续词之间的局部信息,忽略了词语之间长距离的上下文依赖信息,在前向传播的过程中池化操作会丢失一部分语义信息; RNN在文本长度较短的情况下相比CNN并没有展现应有的优势。本文通过融合CNN和基于注意力机制的双向长短期记忆(ATTBiLSTM)网络提取的特征,提高模型的文本表示能力,同时为了防止过拟合,采取dropout策略。在中科院谭松波博士整理的酒店评论数据集上进行实验,结果表明本文提出的模型相比基线模型可以提取出更丰富的特征,效果较基线模型有所提升。     

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。     

基于注意力模型的卷积循环神经网络城市声音识别

环境声音识别（Eenvironment Ssound Rrecognition ,ESR）在基于情景感知和辅助技术等领域发挥着重要作用。卷积神经网络（CNN）和循环神经网络（RNN）作为两种最具代表性的特征提取方法,在语音和音乐信号处理方面都取得显著效果,然而二者都存在一定缺点,CNN无法有效提取时间特征,RNN在提取空间特征上也存在明显劣势。为了有效的提取并利用时间特征和空间特征,提出一种新模型,利用时间分布卷积神经网络（CNN）从梅尔频谱图中提取城市环境声音特征,然后应用双向长短时记忆网络（BiLSTM）从CNN输出中获取时间信息,最后在BRNN的输出序列上实施注意力机制,从而关注到与城市环境声音最相关的特征进而做出分类判断,注意力机制既提高了分类准确性,又增强了模型的可解释性。实验结果表明,在Urbansound8K数据集中,该模型可获得80.2%的分类准确率,这优于以前在同一数据集的报告结果     

基于注意力机制归纳网络的小样本关系抽取模型

针对小样本关系抽取问题,提出一种基于注意力机制的归纳网络.首先,利用归纳网络中的动态路由算法学习类别表示;其次,提出实例级别的注意力机制,用于调整支持集,并获取支持集与查询集样本之间的高级信息,进而获得与查询实例更相关的支持集样本.该模型很好地解决了训练数据不足时如何进行关系抽取的问题.在小样本关系抽取数据集FewRel上进行实验,得到的实验结果为：5-way 5-shot情形下准确率为(88.38±0.27)%,5-way 10-shot情形下准确率为(89.91±0.33)%, 10-way 5-shot情形下准确率为(77.92±0.44)%, 10-way 10-shot情形下准确率为(81.21±0.39)%.实验结果表明,该模型能适应任务并且优于其他对比模型,在小样本关系抽取中取得了优于对比模型的结果.     

基于高层语义注意力机制的中文实体关系抽取

实体关系抽取在挖掘结构化事实的信息抽取系统中扮演着重要的角色。近年来,深度学习在关系抽取任务中取得了显著的成果,同时,注意力机制也逐步地融入到神经网络中,进一步提高了关系抽取的性能。但是,目前的注意力机制主要关注一些低层次的特征,比如词汇等。本文提出一种基于高层语义注意力机制的分段卷积神经网络模型(PCNN_HSATT,high-level semantic attention-based piecewise convolutional neural networks),该模型将注意力机制设置在分段最大池化层后,动态地关注了高层次的语义信息。除此之外,由于中文实体关系语料稀疏性较大,本文利用同义词词林对COAE2016语料进行增强以扩大数据规模。最后在COAE2016和ACE2005的中文语料上进行实验,F1值分别达到了78.41%和73.94%,与效果最好的SVM方法相比分别提高了10.45%和0.67%,这充分证明了PCNN_HSATT模型在中文关系抽取上的有效性。     

基于双层注意力机制的联合深度推荐模型

许多电子商务网站中存在用户编写的大量评论信息,大部分推荐系统虽然利用了评论信息,但仅从单词级别而不是评论级别来评估评论的重要性。如果只考虑评论中的重要单词,而忽略了真正有用的评论,则会降低推荐模型的性能。基于此,文中提出了一种基于双层注意力机制的联合深度推荐模型(DLALSTM)。该模型首先利用双向长短期记忆网络(BiLSTM)分别对用户和项目评论进行词以及评论级别联合建模,并通过两层注意力机制聚合为评论表示和用户/项目表示,然后把从评论中学习的用户和项目的潜在表示融入由评分矩阵得到的用户偏好和项目特征,实现评分预测。采用文中模型在Yelp和亚马逊的不同领域数据集上进行实验评估,并与常用的推荐方法进行比较,发现文中提出的模型性能超过目前常用的推荐方法,同时该模型能够缓解数据稀疏问题,且具有较好的可解释性。     

一种基于自注意力机制的文本图像生成对抗网络

图像自动生成一直以来都是计算机视觉领域的一项重要挑战,其中的文本到图像的生成更是图像生成领域的重要分支。随着深度学习技术迅猛发展,生成对抗网络的出现使得图像生成领域焕发生机,借助生成对抗网络能够生成较为生动且多样的图像。本文将自注意力机制引入生成对抗网络,提出GAN-SelfAtt以提升生成图像的质量。同时,使用WGAN、WGAN-GP 2种生成对抗网络框架对GAN-SelfAtt进行实现。实验结果表明,自注意力机制的引入能够提高生成图像的清晰度,这归功于自注意力机制弥补了卷积运算中只能计算局部像素区域内的相关性的缺陷。除此之外,GAN-SelfAtt在训练时有着更好的稳定性,避免了原始生成对抗网络中的模式坍塌问题。     

基于量子测量的随机数提取机制

通过分析一般的基于John von Neumann随机数提取机制的随机数生成方案,提出了一种改进的有效生成真随机数的方案。此方案只需制备一种单量子态进行测量,应用John von Neumann提取机制对数据做处理,最后得到平衡随机序列。与之前的方案相比,改进后的方案更加简洁,且初始阶段所需粒子由Bell态简化成了单量子态。在对大量随机序列做统计后估算误差,进一步提出了简单的生成非平衡随机数的方法。     

基于多通道自注意力网络的遥感图像场景分类

高分辨率遥感图像场景分类广泛应用于土地监测、环境保护及城市规划等诸多领域.现有场景分类方法不能很好地结合局部纹理信息和全局语义信息,同时各通道特征之间的关系没有得到有效挖掘.因此,本文提出了一种基于多通道自注意力网络的遥感图像场景分类模型.通过卷积网络提取遥感图像的多尺度特征;随后采用特征融合单元建立多尺度特征间的局部-全局关系,基于多头自注意力机制的Inter-Channel Transformer在通道维度对融合后的特征建模,并推导特征在通道间的关系,进一步扩大全局感受野,以捕捉其语义结构信息,有效提高了网络的分类精度.在数据集AISC和SIRI-WHU上,本文所提算法的整体分类准确率(OA)分别为95.70%和94.00%,超过了当前最新的研究算法,证明了所提模型在高分辨率遥感图像场景分类任务中的有效性.     

基于注意力机制多尺度网络的自然场景情绪识别

情绪识别作为计算机视觉的一项基本课题已经取得很大进展,然而在无约束自然场景中的情绪识别仍具挑战性.现有方法主要是利用人脸、姿态以及场景信息识别情绪,但是忽略了人物个体在场景中的不确定性,以及不能很好地挖掘场景中的情绪线索.针对现有研究存在的问题,提出了基于人物与场景线索的双分支网络结构,两个分支独立学习,通过早期融合得到情绪分类结果.对于人物在场景中的不确定性,引入身体注意力机制预判人物情绪置信度进而获得人体的特征表示,场景中引入空间注意力机制和特征金字塔以便充分获得场景中不同粒度的情绪线索.实验结果表明,此方法有效融合人物与场景信息,在EMOTIC数据集下能够明显提高情绪识别率.     

基于预算的资源管理模型

针对现有批作业系统中的资源管理方式在资源使用公平性和合理性、作业服务质量(QoS)与实际需求存在较大差距的问题,提出一种基于经济学原理的资源管理模型——BB-RAM模型.模型通过预算机制来实现对计算资源管理和使用的宏观控制,最终达到资源使用最优化和保证作业服务质量的目的.基于实际作业流的仿真结果表明该模型的作业调度的作业延误率、效益值等QoS指标,以及平均响应时间等传统评价指标都优于传统调度策略.     

一种基于图注意力机制的气温预测模型

积极应对气候变化是可持续发展的目标之一。针对气温准确预测任务,提出了一种基于图注意力机制的气温预测模型。该模型在气温站点组成的拓扑结构上使用了注意力机制,选择性地聚合周围区域的气温特征,再使用神经网络拟合复杂的气温变化规律,得到预测结果。实验使用了2000—2010年京津冀地区的气温数据,经大量实验验证,在极少依赖历史气温数据的情况下,模型能够得到更准确的预测值。模型能够为气候预测和气候灾害预防提供决策支持。     

基于层次注意力机制的垃圾用户检测模型

目前基于网络的垃圾用户检测方法只考虑了简单社会关系,缺乏对更多复杂社会语义关系的利用,难以达到最优性能.针对这一挑战,提出一种基于层次注意力机制的垃圾用户检测模型(HAM-SD).模型首先使用异质信息网络对社交媒体进行建模,挖掘丰富的语义与结构信息,接着利用节点级注意力层聚合元路径邻居增强节点表示,同时利用自适应层级聚合模块选择不同层级特征提升表征能力,然后通过语义级注意力层融合不同元路径下的节点表示,最后带入分类检测模块实现垃圾用户检测.在公开数据集上的实验结果表明该模型能够有效检测垃圾用户,并在不平衡数据分布时保持较强的稳定性.     

基于多层交叉注意力融合网络模型的人脸图像情感分析

目前大多数人脸图像情感分析方法只单方面关注图像整体或局部来构建视觉情感特征表示,忽略了二者在情感表达上的协同作用。针对此问题,提出了一种多层交叉注意力融合网络情感分析方法。该方法首先利用特征相关性分析实现最大化类的可分性;其次通过多层交叉注意力网络中的多个不重叠的注意力区域来提取整体和局部的信息;然后将整体与局部提取的注意力图进行融合,来共同训练图像情感分类器并进行情感分析。实验结果表明,提出的方法在真实数据集RAFDB上的情感分类准确率达到了88.53%,优于现有其他方法,验证了该方法的有效性与优越性。     

基于广义隐马尔可夫模型的网页信息抽取方法

针对网页所特有的基于版面结构的特点,利用基于视觉的网页分割算法VIPS对网页分块,得到一种新的状态转移序列,取代了传统的状态转移序列。通过二阶Markov链改进广义隐马尔可夫模型（GHMM）的状态转移和输出观测值假设条件,提出了二阶的广义隐马尔可夫模型。最后通过实验说明改进的GHMM对于网页信息抽取有很高的精确率。     

基于MapReduce的并行LAD模型评论主题提取算法研究

针对传统的潜在狄利克雷分析(LDA)模型在提取评论主题时存在着计算时间长、计算效率低的问题,提出基于MapReduce架构的并行LAD模型建立方法.在文本预处理的基础上,得到文档-主题分布和主题-特征词分布,分别计算主题相似度和特征词权重,结合k-均值聚类算法,实现评论主题提取的并行化.通过Hadoop并行计算平台进行实验,结果表明,该方法在处理大规模文本时能获得接近线性的加速比,对主题模型的建立效果也有提高.