基于BERT与多通道卷积神经网络的细粒度情感分类

为了分析突发事件期间网络舆论的情感倾向,以更有效地调节人们的情绪,维护社会稳定。本文提出了一种融合BERT模型和多通道卷积神经网络的深度学习方法用于细粒度情感分类,以获取更加丰富的文本语义特征信息。通过BERT 对输入的文本进行编码,以增强文本的语义特征表示,再通过具有多个不同大小的卷积核的并行卷积层来学习文本特征,捕获文本的深层次特征,提升模型在文本分类的性能。对比实验表明,该模型在准确性、召回率和F1值方面均优于传统的情感分类模型,并能显著改善细粒度情感分类的性能。除此之外,本文还探究了表情符号对细粒度情感分类模型的影响,实验结果表明表情符号转换成文字后可以增强文本的情感特征提取能力,提升模型分类性能。     

基于改进BERT模型的时政微博评论情感分类

微博的流行使公众能够更加容易也更加积极地参与到社会话题的讨论中去,识别公众对事件的情感倾向已经成为一个有价值的话题.目前已有的情感分类方法往往是选择一种分类模型(比如SVM)或者结合几种分类模型,然后将数据直接进行分类,没有考虑根据数据的不同领域来调整分类模型.基于预训练的BERT网络,可以使用无标签的时政微博语料改进...     

基于注意力机制的细粒度图像分类

针对细粒度图像分类中数据分布具有小型、非均匀和不易察觉类间差异的特征,提出一种基于注意力机制的细粒度图像分类模型.首先通过引入双路通道注意力与残差网络融合对图像进行初步特征提取,然后应用多头自注意力机制,达到提取深度特征数据之间细粒度关系的目的,再结合交叉熵损失和中心损失设计损失函数度量模型的训练.实验结果表明,该模型在两个标准数据集102 Category Flower和CUB200-2011上的测试准确率分别达94.42%和89.43%,与其他主流分类模型相比分类效果更好.     

基于BERT与法条知识驱动的法条推荐方法

针对传统法条推荐方法知识利用不足的问题,结合预训练BERT模型,提出了一种基于司法领域法律条文知识驱动的法条推荐方法。首先基于BERT预训练模型对法条知识和案件描述分别进行表征,并基于双向LSTM对案件描述文本进行特征提取,然后基于注意力机制提取融合法条知识的案件描述文本特征,最终实现法条智能推荐。该方法在法研杯公共数据集上,法条推荐F₁值达到0.88,结果表明,融合法条知识的BERT模型对法条推荐具有显著提升作用,并且可以有效地解决易混淆法条推荐问题。     

基于ProtBert预训练模型的HLA-Ⅰ和多肽的结合预测算法

针对现有的第Ⅰ类HLA(HLA-Ⅰ)分子与多肽结合亲和力预测算法在特征构造时依赖传统序列评分函数的问题,为突破用经典机器学习算法构造氨基酸序列特征的局限性,提出一种基于蛋白质预训练模型ProtBert的HLA-Ⅰ与多肽的结合预测算法ProHLAⅠ.该算法利用生命体语言与文本语言在组成上的共性,将氨基酸序列类比句子,通过整合ProtBert预训练模型、 BiLSTM编码和注意力机制的网络结构优势,对HLA-Ⅰ序列和多肽序列进行特征提取,从而实现HLA-Ⅰ独立于位点的多肽结合预测.实验结果表明,该模型在两组独立测试集中均取得了最优性能.     

基于BERT和改进胶囊网络的关系分类方法

针对关系分类主流模型中存在的空间信息丢失和旋转不变性差的缺点,提出一个基于BERT和多头注意机制-胶囊网络(MA-CapsNet)的算法模型.该模型首先在句子的实体两端插入特殊符号,增强模型对实体信息的表示能力,再通过预训练的BERT语言模型获得包含上下文信息的语义向量表示,然后传入改进后的注重空间位置信息的胶囊网络中学习句子的语义特征并分类.同时引入多头注意力机制进一步提升模型的分类效果.在SemEval-2010 task 8关系分类数据集上,该算法模型取得了90.15%的宏F值.实验表明该模型架构能强化对句子语义特征的捕捉,改善关系分类任务的分类效果.     

基于空间金字塔注意力的细粒度图像分类

基于改进的空间金字塔注意力模块,提升轻量化网络在细粒度图像分类任务上的性能.通过结合全局特征与局部特征,改进模型在不显著增加参数量的情况下提高了轻量化网络的分类性能.在斯坦福狗数据集上的实验结果表明,采用该模块的轻量化网络准确率显著提升,甚至超过部分经典模型.该方法拓展了轻量化网络在资源受限设备上的应用范围,为细粒度图像分类问题提供了一种高效、低计算成本的解决方案.     

一种新的基于注意力机制的细粒度视频分析神经网络结构

针对包含细微差异动作的视频数据集,提出了一种用于分辨细粒度差异动作的深度神经网络.该网络结构由一个三维卷积(C3D)网络的轻量化变体和一个基于注意力机制的长短时记忆网络组成,优化了三维卷积网络的深度和注意力机制的权重惩罚项.实验结果表明:该网络可以有效地关注视频中的重要信息,在平均准确率和检测准确率上均有所提升.     

基于BERT和多头注意力的中文命名实体识别方法

针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题,提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注,提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明,改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明,BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition,NER)任务。     

基于BERT的因果关系抽取

针对传统关系抽取模型依赖特征工程等机器学习方法, 存在准确率较低且规则较繁琐等问题, 提出一种BERT+BiLSTM＋CRF方法. 首先使用BERT(bidirectional encoder representations from transformers)对语料进行预训练; 然后利用BERT根据上下文特征动态生成词向量的特点, 将生成的词向量通过双向长短期记忆网络（BiLSTM）编码; 最后输入到条件随机场（CRF）层完成对因果关系的抽取. 实验结果表明, 该模型在SemEval-CE数据集上准确率比BiLSTM+CRF+self-ATT模型提高了0.054 1, 从而提高了深度学习方法在因果关系抽取任务中的性能.     

融合抽取式和抽象式的藏文摘要算法

为了推动文本摘要技术在藏文领域的发展,采用两阶段微调的方法,构建了一种融合抽取式和抽象式的藏文摘要模型(BERT-ext-abs),保留了摘要的流畅性和语义一致性。训练抽取式藏文摘要模型BERT-ext,在此基础上进行第二次微调,得到抽象式藏文摘要模型BERT-ext-abs。从训练模型结构和数据规模两个角度分别设置对比实验,结果表明,相较于未经过二次微调的抽象式藏文摘要模型BERT-abs, BERT-ext-abs模型在ROUGE-1分数上提高了3.23%,在BERT Score分数上提高了0.95%。此外,与BERT-abs相比,BERT-ext-abs的模型参数量和训练数据量更少,能更高效地生成流畅且语义一致的摘要。     

基于深度学习的教材德目教育文本分类方法

对上海中小学教材德目教育文本分类进行研究,提出了基于转换器的双向编码表征(BERT)预训练模型、双向长短期记忆(BiLSTM)网络和注意力机制的模型IoMET_BBA.通过合成少数类过采样技术(SMOTE)与探索性数据分析(EDA)技术进行数据增强,使用BERT模型生成富含语境信息的语义向量,通过BiLSTM提取特征,并结合注意力机制来获得词语权重信息,通过全连接层进行分类.对比实验的结果表明,IoMET_BBA的F1度量值达到了86.14%,优于其他模型,可以精确地评估教材德目教育文本.     

基于领域BERT模型的服务文本分类方法

针对BERT模型领域适应能力较差,无法解决训练数据类别数量不均衡和分类难易不均衡等问题,提出一种基于WBBI模型的服务文本分类方法。首先通过TF-IDF算法提取领域语料中的词汇扩展BERT词表,提升了BERT模型的领域适应性;其次,通过建立的BERT-BiLSTM模型实现服务文本分类;最后,针对数据集的类别数量不均衡和分类难易不均衡问题,在传统焦点损失函数的基础上提出了一种可以根据样本不均衡性特点动态调整的变焦损失函数。为了验证WBBI模型的性能,在互联网获取的真实数据集上进行了大量对比试验,实验结果表明：WBBI模型与通用文本分类模型TextCNN、BiLSTM-attention、RCNN、Transformer相比Macro-F1值分别提高了4.29%、6.59%、5.3%和43%;与基于BERT的文本分类模型BERT-CNN、BERT-DPCNN相比,WBBI模型具有更快的收敛速度和更好的分类效果。     

多神经网络协作的军事领域命名实体识别

互联网公开数据蕴含着大量高价值的军事情报,成为获取开源军事情报的重要数据源之一。军事领域命名实体识别是进行军事领域信息提取、问答系统、知识图谱等工作的基础性关键任务。相比较于其他领域的命名实体,军事领域命名实体边界模糊,界定困难;互联网媒体中军事术语表达不规范,随意性的简化表达现象较普遍;现阶段面向军事领域的公开语料鲜见。该文提出一种考虑实体模糊边界的标注策略,结合领域专家知识,构建了基于微博数据的军事语料集MilitaryCorpus;提出一种多神经网络协作的军事领域命名实体识别模型,该模型通过基于Transformer的双向编码器（bidirectional encoder representations from transformers,BERT）的字向量表达层获得字级别的特征,通过双向长短时记忆神经网络（bi-directional long short-term memory,BiLSTM）层抽取上下文特征形成特征矩阵,最后由条件随机场层（conditional random field,CRF）生成最优标签序列。实验结果表明：相较于基于CRF的实体识别模型,应用该文提出的BERT-BiLSTM-CRF模型召回率提高28.48%,F值提高18.65%;相较于基于BiLSTM-CRF的实体识别模型,该文模型召回率提高13.91%,F值提高8.69%;相较于基于CNN（convolutional neural networks）-BiLSTM-CRF的实体识别模型,该文模型召回率提高7.08%,F值提高5.15%。     

基于BERT-TENER的服装质量抽检通告命名实体识别

识别服装质量抽检通告中的实体信息,对于评估不同区域的服装质量状况以及制定宏观政策具有重要意义。针对质量抽检通告命名实体识别存在的长文本序列信息丢失、小类样本特征学习不全等问题,以注意力机制为核心,提出基于BERT(bidirectional encoder representations from transformers)和TENER(Transformer Encoder for NER)模型的领域命名实体识别模型。BERT-TENER模型通过预训练模型BERT获得字符的动态字向量;将字向量输入TENER模块中,基于注意力机制使得同样的字符拥有不同的学习过程,基于改进的Transformer模型进一步捕捉字符与字符之间的距离和方向信息,增强模型对不同长度、小类别文本内容的理解,并采用条件随机场模型获得每个字符对应的实体标签。在领域数据集上,BERT-TENER模型针对服装抽检领域的实体识别F1值达到92.45%,相较传统方法有效提升了命名实体识别率,并且在长文本以及非均衡的实体类别中也表现出较好的性能。     

基于BERT的数控机床故障领域命名实体识别

针对数控机床(computer numerical control,CNC)故障领域命名实体识别方法中存在实体规范不足及有效实体识别模型缺乏等问题,制定了领域内实体标注策略,提出了一种基于双向转换编码器(bidirectional encoder representations from transformers,BERT)的数控机床故障领域命名实体识别方法。采用BERT编码层预训练,将生成向量输入到双向长短期记忆网络(bidirectional long short-term memory,BiLSTM)交互层以提取上下文特征,最终通过条件随机域(conditional random field,CRF)推理层输出预测标签。实验结果表明,BERT-BiLSTM-CRF模型在数控机床故障领域更具优势,与现有模型相比,F1值提升大于1.85%。     

自然语言处理系统中自动分词的研究

首先分析了自动分词方法的基本假设和实现途径以及现有方法的不足之处,然后介绍汉语自然语言整体处理信息框架和在自然语言整体处理框架中自动分词方法,最后给出实验结果     

一个改进的汉语词性标注系统

汉语词性标注的难点在于确定具有多个词类的词(兼类词)在上下文中的词性。基于兼类词在词典中仅占很小的比例(约为3％),提出了具有双重状态的隐马尔可夫模型,它不但有一个常规的状态转移概率矩阵,还在逻辑上为每个具有多个词类的词保留一个专有的状态转移概率矩阵,使模型从一个状态转移到另一个状态的概率不再和观察无关,提高了模型的精确性。