结合自监督学习的多任务文本语义匹配方法

基于文本交互信息对文本语义匹配模型的重要性,提出一种结合序列生成任务的自监督学习方法.该方法利用自监督模型提取的文本数据对的交互信息,以特征增强的方式辅助基于神经网络的语义匹配模型,构建多任务的文本匹配模型.9个模型的实验结果表明,加入自监督学习模块后,原始模型的效果都有不同程度的提升,表明所提方法可以有效地改进深度文...     

面向低资源场景的论辩挖掘方法

针对单一领域数据进行建模求解时,在数据较为匮乏的新兴领域中论辩挖掘任务难以开展的问题,提出一种面向低资源场景的多任务学习的论辩挖掘方法.该方法首先通过卷积神经网络和高速神经网络对原文本的字符信息进行编码,获得多个数据集在词级的共享信息表示;然后由有序神经元-长短时记忆循环神经网络进一步处理词级信息和任务相关特征的联合表示,挖掘文本中潜藏的层级结构信息;最后使用条件随机场进行求解.采用德国UKP实验室的六个数据集进行相关的对比实验.实验结果表明,所提出的方法在宏观F1值上较基准模型有1%～2%的提升,有效地提升模型的整体性能.     

基于情感轮和多任务卷积神经网络的图像情感分布学习

图像情感分布学习可以对多种情绪同时进行建模,但现有的模型缺乏有效的方法直接考虑情绪之间的相关性.针对这一问题,该文提出一种基于情感轮和多任务卷积神经网络(EW-MTCNN)的图像情感分布学习模型,通过先验知识模块将心理学情感知识直接引入到深度神经网络中.基于Mikel's情感轮定义成对情绪之间的相关性,EW-MTCNN模型采用多任务卷积神经网络学习情绪之间的相关性信息,同时优化情感分布预测和情绪分类任务.EW-MTCNN模型由3个模块组成,3个模块分别是图像特征提取层、情感轮先验知识层和多任务损失层.在情感分布数据集(Emotion6)和单标签数据集(Artphoto)上进行对比实验的结果表明:EW-MTCNN模型在情感分布预测与情绪分类任务上比其他情感分布学习方法具有更优的性能.     

基于生成对抗网络的类别文本生成

类别文本生成旨在让机器生成人类可理解的文本,并且赋予生成文本特定的类别属性。现有工作主要采用基于生成对抗网络的文本生成框架,往往直接采用卷积神经网络进行文本特征提取,缺乏对文本全局语义的关注;此外,简单地在生成网络中引入注意力无法有效消除解码过程中的噪声。针对上述问题,本文提出一种将文本全局特征与局部特征联合建模的方法,通过将长短时记忆网络提取的全局语义信息与卷积神经网络提取的局部语义信息进行融合,增强生成过程中对文本全局语义信息的关注,并且引入双重注意力,进一步过滤掉序列生成中的无关信息。与基准模型相比,本文提出的方法分别在2个公开的真实数据集(Movie Review和Amazon Review)上取得了至少0.01和0.004的BLEU值的提升,表明了本文方法的有效性。     

一种基于显式定位的机器阅读理解方法

大多数机器阅读理解模型是基于具有各种注意力机制的端到端深度学习网络,但此类模型会损失句子级别的语义信息.此外,现有数据集中的问题通常不需要复杂的推理,并且答案仅与背景段落中的少量句子相关.基于此,提出将机器阅读理解模型划分为两层:第一层用于查找段落中与问题相关的句子并生成新的背景段落;第二层则根据减小了规模的段落做进一...     

一种采用机器阅读理解模型的中文分词方法

针对中文分词序列标注模型很难获取句子的长距离语义依赖,导致输入特征使用不充分、边界样本少导致数据不平衡的问题,提出了一种基于机器阅读理解模型的中文分词方法。将序列标注任务转换成机器阅读理解任务,通过构建问题信息、文本内容和词组答案的三元组,以有效利用句子中的输入特征;将三元组信息通过Transformer的双向编码器（BERT）进行预训练捕获上下文信息,结合二进制分类器预测词组答案;通过改进原有的交叉熵损失函数缓解数据不平衡问题。在Bakeoff2005语料库的4个公共数据集PKU、MSRA、CITYU和AS上的实验结果表明：所提方法的F₁分别为96.64%、97.8%、97.02%和96.02%,与其他主流的神经网络序列标注模型进行对比,分别提高了0.13%、0.37%、0.4%和0.08%。     

多标签文本分类模型对比研究

为了有效地管理和利用网络文本信息,实现文本内容自动标签标注,提出采用多种深度学习模型对多标签文本分类进行研究。采用神经网络词向量模型word2vec获取文本数据的语义特征。对循环神经网络和卷积神经网络进行模型融合,引入注意力机制,形成TextRCNN_Attention神经网络模型。实验结果表明,TextRCNN_Attention模型结构融合了循环神经网络和卷积神经网络模型的优点,能更好地理解语义信息。Attention机制对文本特征提取更加合理,使模型将注意力聚焦在对文本分类任务贡献分值较大的特征上,分类效果更好。     

基于知识图谱的问答系统中属性映射方法研究

在基于知识图谱的智能问答系统中,属性映射模块结果的错误传播会导致最终无法得到正确答案,对此提出了一种基于多注意力多维文本的属性映射方法。首先通过拆分问题文本及结合属性信息得到多维文本表示;其次使用长短期记忆网络(long-short-term memory, LSTM)层生成各自的隐层表示;然后输入多注意力机制层后使问句和属性之间的关系及语义信息更加完善,利用属性之间的交互信息及多种角度来加强问句语义信息的理解;最后通过卷积神经网络(convolutional neural networks, CNN)提取局部特征并且采用softmax分类器实现属性映射。试验结果表明,在自然语言处理与中文计算会议(NLPCC 2018)中知识库问答(KBQA)任务所提供的开源数据集上,本方法相比主流属性映射模型其性能有显著提升,准确率最高提升6.62%。本模型可以补足单一文本表示与注意力机制的短板,有效解决属性映射模块中语义歧义的问题,这有助于后续提高智能问答系统的整体性能。     

基于STACKING-BERT集成学习的中文短文本分类算法

由于word2vec、Glove等静态词向量表示方法存在无法完整表示文本语义等问题,且当前主流神经网络模型在做文本分类问题时,其预测效果往往依赖于具体问题,场景适应性差,泛化能力弱.针对上述问题,提出一种多基模型框架(Stacking-Bert)的中文短文本分类方法.模型采用BERT预训练语言模型进行文本字向量表示,输...     

基于句法结构迁移和领域融合的跨领域情感分类

用于文本情感分析的深度学习模型如递归神经网络等参数较多，因此需要大量高质量标记训练数据对模型进行训练和优化。在实际应用中，特定领域难以获取高质量带情感标签评论数据。在跨领域文本情感分类任务中，针对不同领域数据分布差异性，提出了基于句法结构迁移和领域融合的跨领域文本情感分类方法，可以解决特定领域对带标签数据依赖问题。句法结构迁移方面，将依存语法特征加入到递归神经网络中，设计了一种可迁移的依存句法递归神经网络模型，通过句法结构迁移有效地迁移跨领域结构信息，为情感迁移提供支撑。领域融合方面，在传统的最大均值差异领域度量方法上细化了跨领域同类别距离度量信息。通过约束源领域和目标领域的分布，可以保证2个领域距离在学习过程中尽可能减小，有效地提取领域通用特征。实验结果表明，该方法比已有方法有效提高了跨领域情感分类准确率。