基于主题注意力层次记忆网络的文档情感建模

针对文档水平情感分析传统模型存在先验知识依赖以及语义理解不足问题,提出一种基于注意力机制与层次网络特征表示的情感分析模型TWE-ANN.采用基于CBOW方式的word2vec模型针对语料训练词向量,减小词向量间的稀疏度,使用基于Gibbs采样的LDA算法计算出文档主题分布矩阵,继而通过层次LSTM神经网络获取更为完整的文本上下文信息从而提取出深度情感特征,将文档主题分布矩阵作为模型注意力机制提取文档特征,从而实现情感分类.实验结果表明:提出的TWE-ANN模型较TSA、HAN模型分类效果较好,在Yelp2015、IMDB、Amazon数据集上的F值分别提升了1.1%、0.3%、1.8%,在Yelp2015和Amazon数据集上的RMSE值分别提升了1.3%、2.1%.     

基于知识表示学习的公共计算机课程管理研究

为解决假负例和零损失问题, 将 Transformer 网络结构用于提取知识库中的实体描述信息, 用带有约束性的自注意力机制寻找最能表达实体意义的表示子空间以增强实体的表示能力, 引入对抗生成网络思想生成负样本, 提升了知识表示能力。 该方法在公共计算机课程知识图谱的构建中, 清楚描绘了课程知识点间的内在关系, 对于指导课程设置与进度安排, 引导学生学习具有十分重要的意义。     

基于层次化表示的隐式篇章关系识别

篇章关系识别研究旨在理解篇章内部论述单元(简称"论元",包括短语、句子及文本片段)之间的语义连接关系.现有研究通过交互式注意力机制方法,提升论元之间的信息的交互性,从而提升模型的分类能力.尽管如此,仅通过提升论元间的信息交互不能表述论元对的整体语义概念,原因在于现有方法往往将论元对视作独立的个体,忽略上下文信息对其语义上的影响.针对以上问题,提出一种基于层次化表示的隐式篇章关系识别方法,通过基于词的交互式注意力机制提取出较为重要的单词或短语,并通过论元的注意力机制赋予关键论元较高的权重,最终通过基于上下文的注意力机制融合论元对所在段落的信息,获得具有上下文语义信息的论元对表示.该方法进一步强化了论元之间信息交互性,同时强化了论元对与上下文信息间的交互.使用PDTB(Penn Discourse Treebank)语料进行实验,结果证明该方法的F_1值在四个大类关系(Comparison,Contingency,Expansion,Temporal)上相对基准系统提高了4. 94%,5. 43%,4. 57%和7. 42%.     

基于新型关系注意力机制的实体关系抽取

实体关系抽取是信息抽取领域的一项关键技术,在知识库自动构建、问答系统等领域有着极为重要的意义.远程监督关系抽取技术利用大型知识库(Knowledge Base,KB)自动对语料进行标注,但存在噪声过大的问题.前人提出的注意力模型中利用实体对的向量表示相减得到关系语义表示,进而使用关系表示来达到降噪的效果,然而同一实体对...     

基于Attention机制的链接预测算法

针对社会网络中链接预测问题,提出了基于注意力(Attention)机制的链接表示及其预测算法.基于待预测节点的共邻关系构建其链接局部网络,设计了基于紧密游走的网络拓扑序列化方法.采用双向循环神经网络(Bi-RNN)对链接序列进行向量编码,以充分挖掘序列相关节点间的上下文依赖信息.通过Attention机制对链接中的节点进行关注和加权,强化重要节点对链接预测任务的贡献,实现链接拓扑特征的自动提取与准确分类预测.实验结果表明,在4种不同类型的社会网络数据集中,该算法的准确率和运算效率都有较大提高且普适性较强.     

ITS系统中知识模型的设计与实现

ITS系统中。知识表示是一个关键问题。如何表示好知识关系，构建领域知识模型，难度很大。芩文讨论了ITS系统中知识点间关系的表示，特别对于知识点间依赖关系的设计与表示，提出了一个知识图模型，结合了树和有向图的表现形式，并给出了一些构建原则，能够较好解决当前知识表示中存在的不足。最后用相应的关系数据模型给予实现。     

高光谱图像半监督局部稀疏嵌入降维算法

针对目前高光谱图像半监督降维算法中基于流形学习的开放性选择近邻参数问题,以及利用传统算法不能有效地获取标签数据的局部信息,提出了一种无需考虑近邻参数的半监督局部稀疏嵌入（SELSE）算法.该算法基于稀疏表示理论,通过求解范数优化问题构建稀疏系数图,并且利用有限的标签数据最大化类间信息,提取高光谱图像的特征.在AVIRIS高光谱遥感图像的Indian Pine数据集上进行仿真实验,结果表明所提出算法在分类精度和计算效率上都有所提高.     

基于注意力和图网络的多粒度脚本事件推理方法

[目的]对于一些覆盖面广、延续时间长的事件(如台风、洪水等自然灾害),考虑事件演化过程复杂多变,所获取的事件信息存在疏密程度不均的问题,研究其事件推理问题.[方法]提出一种基于注意力机制和图网络的多粒度脚本事件推理方法,通过提取及合并不同粒度的事件信息以获得更丰富的事件语义信息,并结合图注意力网络和事件转移概率矩阵以充分利用密集事件连接提升推理性能.具体而言,首先采用自注意力机制从事件链中获得事件片段,并结合单个事件和事件片段的表示扩展模型输入信息,然后充分利用密集的事件连接,从海量事件新闻中提取事件链构建事件演化图来获得事件转移矩阵,提高模型推理准确率.[结果]在多个真实台风事件以及标准数据集上的实验结果表明,本文所提方法优于传统的基于事件链、基于事件对以及基于事件图等的事件推理模型.[结论]采用自注意力机制从事件链中获得事件片段,并结合单个事件和事件片段的表示扩展模型输入信息可以缓解事件稀疏带来的推理困难问题;仅采用时序关系不能完全表示基本事件链与候选事件的关系,构建事件演化图可以更好的提取事件间的复杂交互信息;多粒度事件信息的融合可以更好地反映候选事件与基本事件链的关系.     

一种融合实体关联性约束的表示学习方法

知识图谱的表示学习方法将实体和关系嵌入到低维连续空间中,从而挖掘出实体间的隐含联系.传统的表示学习方法多基于知识图谱的结构化信息,没有充分利用实体的描述文本信息.目前基于文本的表示学习方法多将文本向量化,忽略了文本中实体间的语义关联.针对上述缺点提出一种利用实体描述文本进行增强学习的方法,基于文本挖掘出关联性实体并对关联性进行分级,将关联性作为辅助约束融合到知识图谱的表示学习中.实验结果表明,该辅助约束能明显提升推理效果,优于传统的结构化学习模型以及基于深度学习的文本和结构的联合表示模型.     

基于翻译模型的异质重边信息网络链路预测研究

在异质信息网络中,异质节点对象之间具有多元关系,形成异质重边信息网络.知识图谱表示旨在将实体和关系在低维的向量空间进行嵌入,可以用来学习异质重边信息网络中实体间的多元关系.首先通过注意力机制对异质重边信息网络中的多元关系进行融合表示,进而将异质节点的类型信息进行多元关系融合空间的映射,在多元关系融合空间上提出基于翻译的异质重边嵌入模型,用以学习异质节点之间的链路关系.最后,在MovieLens100k电影数据集上进行了异质节点多元关系的链路预测实验.实验结果表明,在异质重边信息网络中,基于改进的翻译模型在实体间链路预测性能方面要优于传统的知识表示方法,可以有效地提升链路预测的精度.     

基于ERNIE和双重注意力机制的微博情感分析

针对传统词向量无法在上下文中表示词的多义性,以及先验的情感资源未能在神经网络中得到充分利用等问题,提出一种基于知识增强语义表示（Enhanced Representation through Knowledge Integration,ERNIE）和双重注意力机制（Dual Attention Mechanism, DAM）的微博情感分析模型ERNIE-DAM.首先利用现有的情感资源构建一个包含情感词、否定词和程度副词的情感资源库;其次采用BLSTM网络和全连接网络分别对文本和文本中包含的情感信息进行编码,不同的注意力机制分别用于提取文本和情感信息中的上下文关系特征和情感特征,并且均采用ERNIE预训练模型获取文本的动态特征表示;最后将上下文关系特征和情感特征进行拼接融合,获取最终的特征向量表示.实验结果表明,新模型在COAE2014和weibo＿senti＿100k数据集上的分类准确率分别达到了94.50%和98.23%,同时也验证了将情感资源运用到神经网络中的有效性.     

基于学习者能力的注意力机制知识追踪方法

基于学习者能力,针对基于循环神经网络（RNN）和长短期记忆（LSTM）网络的深度知识追踪（DKT）算法对早期知识点关注的不足,提出一种加入注意力机制的DKT算法,并用时隙聚类的方法对不同能力学习者动态分组并赋予不同的注意力权值,以建立更平衡、更客观的知识记忆程度权重分布模型.常用公开数据集上的实验结果表明：该模型优于2种基准模型和2种消融实验模型,说明所提出的模型能更好地表现学习者的知识状态.     

复杂网络下基于路径选择的表示学习方法

基于路径和基于知识表示的推理是当前知识图谱领域两大主流推理方法,二者的融合算法可以提高知识推理的准确率,但是依旧存在表示学习的时候效率低下、预测准确率低、模型过拟合等若干问题.本文方法针对这些问题提出了基于路径选择的表示学习方法.对路径特征信息进行进一步的过滤和筛选,保留关键路径,在路径信息和知识表示的结合过程中使用平衡参数对缺失路径信息的三元组进行处理.使用公开数据集对模型进行测试,实验表明模型可以有效提高泛化能力和准确率.     

融合序列语法知识的卷积-自注意力生成式摘要方法

针对基于编码-解码的生成式摘要模型不能充分提取语法知识导致摘要出现不符合语法规则的问题，循环神经网络易遗忘历史信息且训练时无法并行计算导致处理长文本时生成的摘要主旨不显著以及编码速度慢的问题，提出了一种融合序列语法知识的卷积-自注意力生成式摘要方法.该方法对文本构建短语结构树，将语法知识序列化并嵌入到编码器中，使编码时能充分利用语法信息；使用卷积-自注意力模型替换循环神经网络进行编码，更好学习文本的全局和局部信息.在CNN/Daily Mail语料上进行实验，结果表明提出的方法优于当前先进方法，生成的摘要更符合语法规则、主旨更显著且模型的编码速度更快.      

基于BERT和改进胶囊网络的关系分类方法

针对关系分类主流模型中存在的空间信息丢失和旋转不变性差的缺点,提出一个基于BERT和多头注意机制-胶囊网络(MA-CapsNet)的算法模型.该模型首先在句子的实体两端插入特殊符号,增强模型对实体信息的表示能力,再通过预训练的BERT语言模型获得包含上下文信息的语义向量表示,然后传入改进后的注重空间位置信息的胶囊网络中学习句子的语义特征并分类.同时引入多头注意力机制进一步提升模型的分类效果.在SemEval-2010 task 8关系分类数据集上,该算法模型取得了90.15%的宏F值.实验表明该模型架构能强化对句子语义特征的捕捉,改善关系分类任务的分类效果.     

融合属性嵌入与关系注意力的跨语言实体对齐

目前知识图谱实体对齐的主流方法是通过图神经网络学习知识图谱的嵌入表示，并测量实体嵌入之间的相似性实现实体的对齐.很多实体对齐方法只考虑知识图谱的结构信息和关系信息，却常常忽略了属性信息.针对上述问题，提出了一种融合属性嵌入的实体对齐方法：融合属性信息的精简关系感知双图卷积网络模型.首先，基于关系感知双图卷积网络的注意力机制提取知识图谱的关系信息；然后，利用带高速门的图卷积网络获取属性信息；最后，融合二者的嵌入信息以实现更高准确率的实体对齐.在3个跨语言数据集上的实验结果表明，该方法通过融合知识图谱属性信息增强了实体表示能力，在3个数据集上Hits@1值相比原模型分别增长了6.42%、4.59%和1.98%，对齐效果明显优于目前主流的实体对齐方法.     

基于高层语义注意力机制的中文实体关系抽取

实体关系抽取在挖掘结构化事实的信息抽取系统中扮演着重要的角色。近年来,深度学习在关系抽取任务中取得了显著的成果,同时,注意力机制也逐步地融入到神经网络中,进一步提高了关系抽取的性能。但是,目前的注意力机制主要关注一些低层次的特征,比如词汇等。本文提出一种基于高层语义注意力机制的分段卷积神经网络模型(PCNN_HSATT,high-level semantic attention-based piecewise convolutional neural networks),该模型将注意力机制设置在分段最大池化层后,动态地关注了高层次的语义信息。除此之外,由于中文实体关系语料稀疏性较大,本文利用同义词词林对COAE2016语料进行增强以扩大数据规模。最后在COAE2016和ACE2005的中文语料上进行实验,F1值分别达到了78.41%和73.94%,与效果最好的SVM方法相比分别提高了10.45%和0.67%,这充分证明了PCNN_HSATT模型在中文关系抽取上的有效性。     

基于双重注意力模型的微博情感倾向性分析

在现有的微博情感倾向性分析任务中,微博标签往往被视为噪声信息,在数据预处理阶段就被剔除.但微博标签蕴含着微博内容的关键信息,所以标签的剔除对于微博的情感倾向性分析是不利的.针对该问题,充分考虑微博的文本特点,提出一种基于双重注意力的情感分析模型.采用Bi-LSTM(Bi-directional Long Short-Term Memory)分别构建微博文本和微博标签的语义表示,采用双重注意力机制同时对微博的正文层和微博的标签层进行语义编码,提取出文本中的关键信息.最后,基于所构建的语义表示训练情感分类模型.实验结果表明,该模型在微博情感倾向性分析上取得了较好的效果.     

基于句法结构的神经网络复述识别模型

为解决已有复述语义计算方法未考虑句法结构的问题, 提出基于句法结构的神经网络复述识别模型, 设计基于树结构的神经网络模型进行语义组合计算, 使得语义表示从词语级扩展到短语级。进一步地, 提出基于短语级语义表示的句法树对齐机制, 利用跨句子注意力机制提取特征。最后, 设计自注意力机制来增强语义表示, 从而捕获全局上下文信息。在公开英语复述识别数据集Quora上进行评测, 实验结果显示, 复述识别性能得到改进, 达到89.3%的精度, 证明了提出的基于句法结构的语义组合计算方法以及基于短语级语义表示的跨句子注意力机制和自注意力机制在改进复述识别性能方面的有效性。     

基于RCBAM和SSD的特征融合低照度环境目标检测算法研究

针对低光照、雨雾等恶劣场景对智能驾驶视觉系统检测能力的影响,提出了一种雷达与相机特征融合的网络模型. 基于毫米波雷达信息和注意力模型构建了雷达注意力机制特征模块,该模块可以为特征融合网络提供一个先验信息和增加算法在目标候选区域权重. 测试结果表明,引入雷达注意力机制模块后,特征融合网络的目标检测性能要比仅依赖计算机视觉的检测性能有了明显的提升,并且在复杂场景下的目标检测鲁棒性更强.