基于BERT的诉讼案件违法事实要素自动抽取

针对诉讼案件违法事实要素抽取效果依赖领域专业知识的特点,提出一种基于transformer双向编码器表示(bidirec-tional encoder representations from transformer,BERT)的诉讼案件违法事实要素自动抽取方法.首先,通过构建领域知识并采用谷歌BERT预训练语言模型进行训练得到拟合诉讼案件领域数据的模型参数和中文预训练字嵌入向量作为模型的输入,得到具有上下文相关的语义表示,以提高词嵌入的上下文语义质量.其次,采用循环卷积神经网络对文本进行编码并获取在文本分类任务中扮演关键角色的信息,提升案件违法事实要素抽取的效果.最后,采用focal函数作为损失函数关注难以区分的样本.违法事实要素抽取的工作是通过对文本标签进行分类得到的.实验测试表明,该方法对诉讼案件要素抽取的F1值为86.41％,相比其他方法性能均有提高.对模型注入领域内知识,也可以提高模型抽取准确率.     

基于BERT-SUMOPN模型的抽取-生成式文本自动摘要

抽取式摘要可读性、准确性较差,生成式摘要存在连贯性、逻辑性的不足,此外2种摘要方法的传统模型对文本的向量表示往往不够充分、准确。针对以上问题,该文提出了一种基于BERT-SUMOPN模型的抽取-生成式摘要方法。模型通过BERT预训练语言模型获取文本向量,然后利用抽取式结构化摘要模型抽取文本中的关键句子,最后将得到的关键句子输入到生成式指针生成网络中,通过EAC损失函数对模型进行端到端训练,结合coverage机制减少生成重复,获取摘要结果。实验结果表明,BERT-SUMOPN模型在BIGPATENT专利数据集上取得了很好的效果,ROUGE-1和ROUGE-2指标分别提升了3.3%和2.5%。     

基于互信息的文本自动摘要

现有的文本自动摘要技术大多是运用向量空间模型将文本作为一个整体进行处理,忽略了段落及段落之间的关联程度,导致提取的摘要不能够全面反映所包含的主题,针对这一问题,文章提出了基于互信息的文本自动摘要方法。该方法利用互信息对文本中词语、句子及段落之间的关联程度进行计算,依据关联程度将整个文本划分成包含不同主题的较小单元,并针对每一单元运用优化的句子权重计算方法进行主题句提取,然后利用主题句生成文本摘要。实验验证了方法的有效性,在自动摘要提取方面取得了良好效果。     

区分冗余序列的抽象文本摘要

序列到序列模型已经被广泛用于抽象文本摘要中,主要将源端语句的词序列通过神经网络生成摘要的词序列.在生成过程中,源端语句所携带的信息被编码,继而由解码器生成摘要.源端句子中包含有两种类型的信息,一类是与摘要有关联的信息,另一类是与摘要无关的冗余信息.为了区分这两类信息,提出了一种新的模型架构,在序列到序列模型的目标端加入冗余序列信息,通过解码器分别生成摘要文本以及冗余文本.将该模型应用于Gigaword英文测试集和LCSTS中文测试集,测试结果表明:相对于基准系统Transformer模型,加入冗余序列的Transformer模型在评估指标ROUGE-1(recall-oriented understudy for gisting evaluation-1)下的得分提高了0.7个百分点,证明该模型能够生成更高质量的抽象文本摘要.     

一种轻量级文本蕴含模型

现有主流文本蕴含模型大多采用循环神经网络编码,并采用各种注意力推理机制或辅以手工提取的特征来提升蕴含关系识别准确率,由于复杂的网络结构和RNNs网络串行机制导致这些模型训练和推理速度较慢.本文提出轻量级文本蕴含模型,采用自注意力编码器编码文本向量,点积注意力交互两段文本,再采用卷积神经网络对交互特征推理,整个结构可根据不同数据的推理难度叠加不同模块数量.在多个文本蕴含数据集实验表明,本文模型在保持较高识别准确率情况下仅用一个块参数仅为665K,模型推理速度相比其他主流文本蕴含模型至少提升一倍.     

基于编码器共享和门控网络的生成式文本摘要方法

结合基于自注意力机制的Transformer模型, 提出一种基于编码器共享和门控网络的文本摘要方法。该方法将编码器作为解码器的一部分, 使解码器的部分模块共享编码器的参数, 同时使用门控网络筛选输入序列中的关键信息。相对已有方法, 所提方法提升了文本摘要任务的训练和推理速度, 同时提升了生成摘要的准确性和流畅性。在英文数据集Gigaword和DUC2004上的实验表明, 所提方法在时间效率和生成摘要质量上, 明显优于已有模型。     

结合自监督学习的多任务文本语义匹配方法

基于文本交互信息对文本语义匹配模型的重要性,提出一种结合序列生成任务的自监督学习方法.该方法利用自监督模型提取的文本数据对的交互信息,以特征增强的方式辅助基于神经网络的语义匹配模型,构建多任务的文本匹配模型.9个模型的实验结果表明,加入自监督学习模块后,原始模型的效果都有不同程度的提升,表明所提方法可以有效地改进深度文...     

基于句子特征向量的汉-越伪平行句对抽取

从可比语料中抽取伪平行句对是翻译语料扩充的重要方法之一。汉-越机器翻译是典型的资源稀缺型机器翻译,提高汉越翻译语料的规模能够显著提升汉越神经机器翻译性能。文章提出基于句子特征向量的汉越伪平行句对抽取方法,该方法首先根据汉越句法特性,将汉越句法差异部分的词性融入嵌入层,再使用自我注意力机制的神经网络抽取句子特征,生成一个句子特征向量,用这个句子特征向量来判断汉越句对是否为伪平行句对,实现从汉-越可比语料中抽取汉-越伪平行句对。实验表明,文章所提方法能够有效地从汉越可比语料中抽取出汉越伪平行句对。     

基于细粒度可解释矩阵的摘要生成模型

针对摘要模型中总结并解释长篇上下文信息存在的困难, 提出一种基于细粒度可解释矩阵, 先抽取再生成的摘要模型(fine-grained interpretable matrix, FGIM), 提升长文本对显著度、更新性和相关度的可解释抽取能力, 引导系统自动生成摘要。该模型通过一个句对判别(pair-wise)抽取器对文章内容进行压缩, 捕获文章中心度高的句子, 将抽取后的文本与生成器相结合, 实现摘要生成。在生成端通过可解释的掩码矩阵, 控制生成摘要的内容属性, 在编码器端分别使用多层Transformer和预训练语言模型BERT来验证其适用性。在标准文本摘要数据集(CNN/DailyMail和NYT50)上的实验表明, 所提模型的ROUGE指标和人工评估结果均优于当前最好的基准模型。实验中还构建两个测试数据集来验证摘要的更新度和相关度, 结果表明所提模型在可控生成方面取得相应的提升。     

基于JST模型的新闻文本的情感分类研究

使用JST模型对中文新闻文本进行情感分析,相对于评论文本,新闻文本主观性比较弱,而且大多是长文本,会影响JST模型的分类性能.给出一种抽取情感主题句的方法,将抽取得到的情感主题句结合现有的JST模型对新闻文本的情感倾向进行了分析.实验表明,使用情感主题句进行情感分析,避免了与主题情感无关的句子对分析结果的影响,提高了分类准确率.     

融合多路注意力机制的语句匹配模型

为了增强语句内关键信息和语句间交互信息的表征能力，有效整合匹配特征，提出一种融合多路注意力机制的语句匹配模型。采用双向长短时记忆网络获取文本的编码信息，通过自注意力机制学习语句内部的关键信息;将编码信息和自注意力信息拼接之后，通过多路注意力机制学习语句间的交互信息;结合并压缩多路注意力层之前和之后的信息，通过双向长短时记忆网络进行池化获得最终的语句特征，经过全连接层完成语句匹配。实验结果表明，该模型在SNLI和MultiNLI数据集上进行的自然语言推理任务、在Quora Question Pairs数据集上进行的释义识别任务和在SQuAD数据集上进行的问答语句选择任务中均表现出了更好效果，能够有效提升语句匹配的性能。     

基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。     

基于双向长短期记忆网络和标签嵌入的文本分类模型

提出了一种基于双向长短期记忆网络和标签嵌入的文本分类模型。首先利用BERT模型提取句子特征,然后通过BiLSTM和注意力机制得到融合重要上、下文信息的文本表示,最后将标签和词在联合空间学习,利用标签与词之间的兼容性得分对标签和句子表示加权,实现标签信息的双重嵌入,分类器根据给定标签信息对句子进行分类。在5个权威数据集上的实验表明,该方法能有效地提高文本分类性能,具有更好的实用性。     

结合主题模型与自监督学习的可控文本生成技术研究

基于大型预训练语言模型的有监督学习方法在可控文本生成任务上取得了优秀的成果，但这些研究都着重于控制生成文本的高级属性(比如情感与主题),而忽略了泛化性问题.现有的基于自监督学习的研究方法则通过句子级别的训练来使模型获得补全整句的能力，使模型做到单词和短语级别的控制生成，但生成与特定属性强相关句子的能力依旧待提升.所以本文提出了一种单词级别(细粒度)与句子(粗粒度)级别相结合的多粒度训练方式：单词级别的主题模型让模型学习主题层面的语义以获得主题到文本的生成能力，句子级别的自监督训练让模型学习整句的表征以获得补全句子的能力.通过主题模型与自监督学习的结合，使模型在单词与短语级别的可控生成阶段取得了更好的效果.实验表明，本文提出的模型在主题契合度以及常规文本生成指标方面优于现有的基线模型.     

基于句向量的文本相似度计算方法

为进一步提高文本相似度计算的准确性,提出基于句向量的文本相似函数(part of speech and order smooth inverse frequency, PO-SIF),从词性和词序方面优化了平滑反频率(smooth inverse frequency, SIF)计算方法,SIF算法的核心是通过加权和去除噪声得到句向量来计算句子相似度。在具体计算时,一方面通过增加词性消减因子调节SIF句向量计算权重参数,获得带有词性信息的句向量,另一方面通过将词序相似度与SIF句向量相似度算法进行线性加权优化句子相似度得分。实验结果表明,增加词性和词序的方法可以提升算法准确率。     

面向新闻的情感关键句抽取与判定

情感倾向的分析已经成为当前研究的热点.面向新闻的情感关键句抽取与判定主要运用的技术有对文本进行预处理、计算文本中词项权重、提取情感关键句、用SVM分类器对情感关键句进行情感倾向性分析.实验结果表明:JXNUIIP系统对情感关键句提取问题有良好的效果.     

结合多注意力和条件变分自编码器的宋词生成模型

现有的诗词生成方法忽略了风格的重要性。另外,由于宋词大部分词牌词句较多,逐句生成宋词的过程中容易产生上下文缺乏连贯性的现象,在上下文连贯性方面仍存在提升空间。针对这两个问题,在编码解码的文本生成框架基础上,引入自注意力机制的句子表示算法计算多注意力权重矩阵,用于提取词句的多种重要语义特征,让模型更多地关注上文的显著信息来提高上下文连贯性。引入条件变分自编码器(CVAE)将每条宋词数据转化为隐空间中不同风格特征的高维高斯分布,从各自的分布中采样隐变量来控制宋词的风格。由于自构建的宋词语料库缺少完整风格分类标签,使用具有风格标签的宋词微调BERT模型,将其作为风格分类器标注全部的宋词数据。在上述关键技术的基础上实现了宋词生成模型,生成上下文连贯的婉约词以及豪放词。通过与其他4种基准方法进行对比实验,结果表明引入自注意力机制的句子表示算法和条件变分自编码器,在上下文连贯性和风格控制方面有一定的提升。     

基于BERT-BiGRU-Attention的在线健康社区用户意图识别方法

针对传统用户意图识别主要使用基于模板匹配或人工特征集合方法导致成本高、扩展性低的问题,提出了一种基于BERT词向量和BiGRU-Attention的混合神经网络意图识别模型。首先使用BERT预训练的词向量作为输入,通过BiGRU对问句进行特征提取,再引入Attention机制提取对句子含义有重要影响力的词的信息以及分配相应的权重,获得融合了词级权重的句子向量,并输入到softmax分类器,实现意图分类。爬取语料实验结果表明,BERT-BiGRU-Attention方法性能均优于传统的模板匹配、SVM和目前效果较好的CNN-LSTM深度学习组合模型。提出的新方法能有效提升意图识别模型的性能,提高在线健康信息服务质量、为在线健康社区问答系统提供技术支撑。     

基于双向门控机制和层次注意力的方面级情感分析

针对传统情感分析模型将单词或词语作为单一嵌入,而忽略句子之间依存信息和位置信息的问题,提出基于双向门控机制和层次注意力的方面级情感分析模型（Based on Bi-GRU and Hierarchical Attention,BGHA）。首先,将文本数据转成词向量再加入位置编码信息,得到包含位置和语义信息的词向量后通过双向门控机制提取上下文特征;接着,分别在单词注意力层和句子注意力层用注意力机制对特征分配权重,突出重点词和重点句信息;最后,结合给定的方面信息选择性提取与其较匹配的情感特征。在SemEval 2014、SemEval 2016和Twitter短文本评论数据集上的实验结果表示,BGHA模型的准确率对比其他模型都有不同程度的提高,证明了模型的有效性。