基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。     

多注意力机制BERT分类模型及其在电力运维中的应用

为了提高变换网路中双向编码表示(bidirectional encoder representations from transformers,BERT)在文本分类中的应用效果，针对基于BERT的文本分类模型在注意力机制设计中无法关注文本中重点信息的问题，提出了一种基于多注意力机制的BERT分类模型。对BERT模型框架中后四层的每一层输入向量，设计词向量注意力机制，捕捉向量表中每一个词的重要性;对得到的BERT模型框架中后四层，设计层向量注意力机制，将这四层上由自适应权重计算得到的每一层输出向量进行融合，获得最终的BERT模型输出向量，更好地提升模型的特征抽取能力。在公开数据集IMDB和THUCNews上的实验表明，提出的模型相较于其他基线模型性能有明显提升。在电力系统运维项目管理的实际应用中，该模型也取得了比基线模型更好的效果，较好地解决了电力运维规模预测混乱问题。     

融合动态掩码预训练与膨胀卷积的实体识别

针对传统的BERT模型在使用中文语料进行预训练时无法获取词的信息问题,本文中在预训练阶段引入基于动态掩码的RoBERTa预训练模型;该预训练模型所生成的语义表示含有词的信息,能够表达句子丰富的句法和语法信息,并且能够对词的多义性建模,更适用于中文命名实体识别任务;同时通过字在上下文中能形成词的词向量对相应的字向量进行了增强;为了提高模型的效率,在序列建模层引入膨胀卷积神经网络。实验表明,该模型在多尺度上下文和结构化预测方面比传统CNN有更好的容量,在常用中文实体识别任务语料库上,验证了模型的有效性。     

基于BERT和双向RNN的中文林业知识图谱构建研究

为了融合碎片化林业文本数据,解决目前林业网络知识散乱、无序和关联性不强的问题,将深度学习与知识图谱相结合,提出一种基于改进BERT和双向RNN的模型用于林业实体识别和实体关系抽取.通过基于实体Mask的BERT词向量处理,自动提取出序列中与研究领域相关的词级和语义特征,将词向量输入命名实体识别模型和实体关系提取模型训练...     

基于多头注意力机制的医学文本实体研究

医学文本实体识别过程存在多义性和复杂性等特点，这导致传统的语言处理模型无法有效获取医学文本语义信息，从而影响了医学实体识别效果。本文提出了一种基于全词MASK的医学文本实体识别模型，其能有效处理中文文本。其中，BERT预处理层能够生成表征上下文语义信息的词向量，Bi-LSTM层对输入的词向量进行双向特征信息提取，注意力机制层对输出的特征向量进行权重分配，从而有效获取文本语句中的长距离依赖，最后通过CRF解码以生成实体标签序列。实验结果表明，该模型在中文简历语料库和CCKS2017语料库中表现优异，F1值分别为96.14%和92.68%。     

基于增强问题重要性表示的答案选择算法研究

针对经典的文本匹配模型在问答系统中应用的缺陷和不足,提出了一种基于增强问题重要性表示网络BIWN的答案选择算法.目前,现有的答案选择模型普遍将问题句子和答案句子直接进行匹配,忽略了问题句子和答案句子中的噪声词对匹配的影响.针对这个问题,首先,利用自注意力机制修改问题句子中各个词的权重,生成“干净”的问题句子向量;然后,利用词级交互矩阵捕捉问题句子和答案句子之间的细粒度语义信息,从而有效地弱化了噪声词对正确答案的影响;最后,利用多窗口CNN提取特征信息得到预测结果.基准数据集上的对比实验表明,BIWN模型在答案选择任务的性能优于主流的答案选择算法,MAP值和MRR值提升了约0.7%～6.1%.     

基于数据增强和字词融合特征的实体槽位识别

针对传统的基于字级表示的实体槽位识别模型无法很好利用词语信息,以及信息技术(IT)运维领域缺少足够数量公开数据集的问题,提出一种基于BERT＿Word2vec＿BiLSTM＿CRF模型的实体槽位识别方法,并通过数据增强对模型的训练数据集进行扩展．该模型将基于转换器的双向编码表征(BERT)模型得到的字向量表示和Word2vec得到的词向量表示进行融合,通过双向长短时记忆(BiLSTM)网络进行上下文编码,通过条件随机场(CRF)进行解码,得到最终的序列标注结果．通过在某企业提供的数据集上进行实验,结果表明：融合词级特征可以在BERT预训练模型的基础上进一步提升识别性能,F1值达到了92.33%.     

工业生产设备故障领域问答系统的意图识别

为了解决工业生产设备故障领域的问答系统缺乏标注数据、意图识别槽位填充性能不足的问题,提出了一种基于BERT的联合模型。利用BERT进行文本序列编码,并通过双向长短时记忆网络(Bi-LSTM)捕捉文本上下文语义关系。通过最大池化和致密层提取关键信息,同时使用条件随机场(CRF)增强模型泛化能力。构建了工业领域设备故障问答语料库,并提出了针对该领域的模型部署框架。在ATIS等公共数据集上进行实验,相对于基线模型,本文模型在句子级准确率、F1值和意图识别准确率上,分别提高4.4、2.1和0.5个百分点。本研究有效提升了问答系统性能,为缺乏工业生产数据的问答系统领域提供了数据集和部署框架。     

基于BERT的因果关系抽取

针对传统关系抽取模型依赖特征工程等机器学习方法, 存在准确率较低且规则较繁琐等问题, 提出一种BERT+BiLSTM＋CRF方法. 首先使用BERT(bidirectional encoder representations from transformers)对语料进行预训练; 然后利用BERT根据上下文特征动态生成词向量的特点, 将生成的词向量通过双向长短期记忆网络（BiLSTM）编码; 最后输入到条件随机场（CRF）层完成对因果关系的抽取. 实验结果表明, 该模型在SemEval-CE数据集上准确率比BiLSTM+CRF+self-ATT模型提高了0.054 1, 从而提高了深度学习方法在因果关系抽取任务中的性能.     

基于增强字向量的微博观点句情感极性分类方法

针对微博观点句识别及情感极性分类任务,提出了基于增强字向量的微博观点句情感极性分类方法.使用单字作为句子表示的基本单元,同时在单字中嵌入了该字所在的词信息以及该词的词性信息,以此训练得到字向量替代传统的词向量融合的句子表示方法.使用基于K-means的方法对向量化的句子进行情感判别,仅需要对文本进行分词和词性标注,无需额外的语言学资源.在COAE2015任务2的微博句子数据集上进行测试,取得了较好的结果.     

基于分层注意力循环神经网络的司法案件刑期预测

为了解决刑期预测任务准确率较差的问题,提出一种基于多通道分层注意力循环神经网络的司法案件刑期预测模型.该模型对传统的循环神经网络模型进行了改进,引入了BERT词嵌入、多通道模式和分层注意力机制,将刑期预测转化为文本分类问题.模型采用分层的双向循环神经网络对案件文本进行建模,并通过分层注意力机制在词语级和句子级两个层面捕获不同词语和句子的重要性,最终生成有效表征案件文本的多通道嵌入向量.实验结果表明:对比现有的基于深度学习的刑期预测模型,本文提出的模型具有更高的预测性能.     

融合领域词典嵌入的航空不安全事件命名实体识别

针对航空不安全事件领域命名实体识别任务,以航空安全信息周报为数据源,分析并构建航空不安全事件命名实体识别数据集和领域词典。为解决传统命名实体识别模型对于捕获领域实体边界性能较差的问题,基于BERT(bidirectional encoder representations from transformers)预训练语言模型提出融合领域词典嵌入的领域语义信息增强的方法。在自建数据集上进行多次对比实验,结果表明：所提出的方法可以进一步提升实体边界的识别率,相较于传统的双向长短期记忆网络-条件随机场(bi-directional long short term memory-conditional random field, BiLSTM-CRF)命名实体识别模型,性能提升约5%。     

基于双向长短期记忆网络和标签嵌入的文本分类模型

提出了一种基于双向长短期记忆网络和标签嵌入的文本分类模型。首先利用BERT模型提取句子特征,然后通过BiLSTM和注意力机制得到融合重要上、下文信息的文本表示,最后将标签和词在联合空间学习,利用标签与词之间的兼容性得分对标签和句子表示加权,实现标签信息的双重嵌入,分类器根据给定标签信息对句子进行分类。在5个权威数据集上的实验表明,该方法能有效地提高文本分类性能,具有更好的实用性。     

基于BERT的诉讼案件违法事实要素自动抽取

针对诉讼案件违法事实要素抽取效果依赖领域专业知识的特点,提出一种基于transformer双向编码器表示(bidirec-tional encoder representations from transformer,BERT)的诉讼案件违法事实要素自动抽取方法.首先,通过构建领域知识并采用谷歌BERT预训练语言模型进行训练得到拟合诉讼案件领域数据的模型参数和中文预训练字嵌入向量作为模型的输入,得到具有上下文相关的语义表示,以提高词嵌入的上下文语义质量.其次,采用循环卷积神经网络对文本进行编码并获取在文本分类任务中扮演关键角色的信息,提升案件违法事实要素抽取的效果.最后,采用focal函数作为损失函数关注难以区分的样本.违法事实要素抽取的工作是通过对文本标签进行分类得到的.实验测试表明,该方法对诉讼案件要素抽取的F1值为86.41％,相比其他方法性能均有提高.对模型注入领域内知识,也可以提高模型抽取准确率.     

基于双通道融合和BiLSTM-attention的评论文本情感分类算法

对在线商业评论文本的情感进行挖掘,融合评论文本不同特征为分类器提供更多的信息量,提出了一种新的在线电商情感分类算法。首先,针对传统词嵌入模型无法很好地融合词语情感信息特征的不足,考虑了词嵌入特征和词性特征的多特征融合方法;其次,在两种特征融合方法的基础上采用了双通道和单通道的对比来比较分类的准确性,提出了并行的CNN和BiLSTM-Attention双通道神经网络模型;最后,使用真实的京东电商评论数据集对所提模型进行了评估,并且在实验中与不同分类算法进行对比。实验结果表明,新的混合方法具有更好的分类准确率、召回率和F1指标。     

基于双通道融合和BiLSTM-attention的评论文本情感分类算法

对在线商业评论文本的情感进行挖掘,融合评论文本不同特征为分类器提供更多的信息量,提出了一种新的在线电商情感分类算法。首先,针对传统词嵌入模型无法很好地融合词语情感信息特征的不足,考虑了词嵌入特征和词性特征的多特征融合方法;其次,在两种特征融合方法的基础上采用了双通道和单通道的对比来比较分类的准确性,提出了并行的CNN和BiLSTM-Attention双通道神经网络模型;最后,使用真实的京东电商评论数据集对所提模型进行了评估,并且在实验中与不同分类算法进行对比。实验结果表明,新的混合方法具有更好的分类准确率、召回率和F1指标。     

基于上下文相关置信度打分的语音确认方法

口语对话系统中,集外词的存在会引起很多识别错误,为了有效地发现并拒绝集外词,提高系统性能,研究利用置信度打分进行语音确认的方法,发现并拒绝识别错误。提出上下文相关的置信度特征,充分考虑当前待确认词与其前序词和后序词之间的相关性。实验结果表明:上下文相关的置信度特征能够很好地提高拒识性能,对符合识别文法的句子,错误拒绝率为2.5%或5%时,对比没有使用上下文相关的置信度特征时,错误接受率分别下降了29%和36%;基于置信度打分的语音确认策略在拒识性能上优于系统已有的在线垃圾模型。