面向微博用户的消费意图识别算法

利用迁移学习的方法, 融合京东问答平台数据与少量已标注的微博数据构建训练集, 提出一种基于注意力机制的双向长短期记忆神经网络(Attentional-Bi-LSTM)模型, 用于识别用户的隐性消费意图。针对显性意图识别问题, 提出一种结合TF-IDF (term frequency-inverse document frequency)与句法分析中动宾关系(VOB)的消费意图对象提取算法。实验结果表明, 通过将迁移京东问答平台的数据与微博数据相融合, 可以有效地扩充训练集, 在此基础上训练的神经网络分类模型具有较高的准确率和召回率; 融合VOB和TF-IDF的显性消费意图对象提取方法的准确率达到78.8%。     

基于BERT的跨领域任务型对话状态跟踪方法

对话状态跟踪(Dialogue State Tracking, DST)是任务型对话系统的核心模块，主要实现在对话过程中跟踪用户意图的功能。为了提升对话状态跟踪在跨领域场景下的性能，本文提出了一种基于BERT(Bidirectional Encoder Representation from Transformers)模型的对话状态跟踪方法，该方法考虑了领域与槽之间的相关性，让模型在对话过程中学习领域信息，并使领域信息参与到槽值的生成过程之中。我们在两个跨领域的任务型对话数据集上进行了综合实验，包括中文数据集CrossWOZ和英文数据集MultiWOZ 2.4,模型在CrossWOZ和MultiWOZ 2.4中分别取得了63.51%和70.17%的联合目标准确率。实验结果表明，本文提出的方法在跨领域场景下有较高的性能表现。     

基于领域BERT模型的服务文本分类方法

针对BERT模型领域适应能力较差，无法解决训练数据类别数量不均衡和分类难易不均衡等问题，提出一种基于WBBI模型的服务文本分类方法。首先通过TF-IDF算法提取领域语料中的词汇扩展BERT词表，提升了BERT模型的领域适应性；其次，通过建立的BERT-BiLSTM模型实现服务文本分类；最后，针对数据集的类别数量不均衡和分类难易不均衡问题，在传统焦点损失函数的基础上提出了一种可以根据样本不均衡性特点动态调整的变焦损失函数。为了验证WBBI模型的性能，在互联网获取的真实数据集上进行了大量对比试验，实验结果表明：WBBI模型与通用文本分类模型TextCNN、BiLSTM-attention、RCNN、Transformer相比Macro-F1值分别提高了4.29%、6.59%、5.3%和43%;与基于BERT的文本分类模型BERT-CNN、BERT-DPCNN相比，WBBI模型具有更快的收敛速度和更好的分类效果。     

基于BERT-BiGRU-Attention的在线健康社区用户意图识别方法

针对传统用户意图识别主要使用基于模板匹配或人工特征集合方法导致成本高、扩展性低的问题,提出了一种基于BERT词向量和BiGRU-Attention的混合神经网络意图识别模型。首先使用BERT预训练的词向量作为输入,通过BiGRU对问句进行特征提取,再引入Attention机制提取对句子含义有重要影响力的词的信息以及分配相应的权重,获得融合了词级权重的句子向量,并输入到softmax分类器,实现意图分类。爬取语料实验结果表明,BERT-BiGRU-Attention方法性能均优于传统的模板匹配、SVM和目前效果较好的CNN-LSTM深度学习组合模型。提出的新方法能有效提升意图识别模型的性能,提高在线健康信息服务质量、为在线健康社区问答系统提供技术支撑。     

基于BERT预训练语言模型的电网设备缺陷文本分类

电网设备缺陷部位识别是设备故障分析的关键环节。该文提出一种基于预训练语言模型双向Transformers偏码表示(Bidirectional encoder representation from transformers,BERT)的电网设备缺陷文本分类方法。基于BERT预训练语言模型对电网设备缺陷部位文本进行预训练生成具有上下文特征的词嵌入(Word embedding)向量作为模型输入,然后,利用双向长短时记忆(Bi-directional long short-term memory)网络对输入的电网设备缺陷文本向量进行双向编码提取表征缺陷文本的语义表征,并通过注意力机制增强电网设备缺陷文本中与缺陷部位相关的领域词汇的语义特征权重,进而得到有助于电网设备缺陷部位分类的语义特征向量。通过模型的归一化层实现电网设备缺陷部位文本分类。在主变压器、SF6真空断路器这两种设备缺陷文本数据集上实验结果表明,提出的方法比基于BiLSTM-Attention模型的F_1值分别提升了2.77%和2.95%。     

基于历史文化知识图谱的问答模型研究

利用知识图谱技术整合历史文化资源,对历史文化的传承和保护具有现实意义.针对现存历史文化领域问答系统构建中存在用户问句识别精准度不高、深层语义匹配不准确的问题,提出了一种知识嵌入的语言表示模型(K-ERNIE-LSTM).该模型先通过构建历史文化领域知识图谱,将其中三元组作为领域知识注入到句子中;而后利用ERNIE预训练模型获取文本的语义信息,再用LSTM提取文本特征;最后使用softmax函数获得最终的标签分类结果.实验结果表明,该模型在文化领域数据集上具有80.20%的准确率、82.68%的召回率和81.42%的F1得分,性能较其他方法得到明显提升.     

改进的基于Transformer的双向编码器的对话文本识别

使用预训练语言模型基于Transformer的双向编码器(bidirectional encoder representation from transformers, BERT)进行文本分类可以帮助民警快速准确地提取电子数据。针对将输入序列的起始符[CLS]位对应的隐含层表示作为句向量输入到全连接层中进行分类会产生一部分语义信息的丢失从而导致分类准确率下降的问题。提出BERT-CNN-SE模型,即在BERT后接一个语义特征提取器以充分利用高层的语义信息,利用不同大小的二维卷积核对BERT输出的隐藏状态进行卷积,然后通过共享权重的挤压和激励(squeeze-and-excitation, SE)模块对通道进行加权,最大池化层后联结起来,最后输入到全连接层进行分类。在自建的涉案对话文本数据集和公开数据集THUCNews上进行测试,改进BERT模型的准确率达到了88.58%和93.64%。结果表明,与BERT基线模型和其他分类模型相比,改进BERT模型具有更好的分类效果。     

多注意力机制BERT分类模型及其在电力运维中的应用

为了提高变换网路中双向编码表示(bidirectional encoder representations from transformers,BERT)在文本分类中的应用效果，针对基于BERT的文本分类模型在注意力机制设计中无法关注文本中重点信息的问题，提出了一种基于多注意力机制的BERT分类模型。对BERT模型框架中后四层的每一层输入向量，设计词向量注意力机制，捕捉向量表中每一个词的重要性;对得到的BERT模型框架中后四层，设计层向量注意力机制，将这四层上由自适应权重计算得到的每一层输出向量进行融合，获得最终的BERT模型输出向量，更好地提升模型的特征抽取能力。在公开数据集IMDB和THUCNews上的实验表明，提出的模型相较于其他基线模型性能有明显提升。在电力系统运维项目管理的实际应用中，该模型也取得了比基线模型更好的效果，较好地解决了电力运维规模预测混乱问题。     

基于BERT与细粒度特征提取的数据法学问答系统

首先利用bidirectional encoder representations from transformers（BERT）模型的强大的语境理解能力来提取数据法律文本的深层语义特征,然后引入细粒度特征提取层,依照注意力机制,重点关注文本中与数据法律问答相关的关键部分,最后对所采集的法律问答数据集进行训练和评估. 结果显示：与传统的多个单一模型相比,所提出的模型在准确度、精确度、召回率、F₁分数等关键性能指标上均有提升,表明该系统能够更有效地理解和回应复杂的数据法学问题,为研究数据法学的专业人士和公众用户提供更高质量的问答服务.     

基于BERT的长文本分类方法

由于预训练模型输入分词数量限制，基于BERT的长文本分类任务效果与长文本分割后的文本段集合的处理及特征融合密切相关，现有的长文本分类研究在融合文本段特征时更关注文本段之间原始的顺序关系，而本文提出了一种基于BERT和集合神经网络的长文本分类模型.该方法以BERT为基础，可处理从同一文本样本分割得到的任意数量文本段，经过BERT后得到文本段特征，再将所有文本段特征输入到具有置换不变性的集合神经网络层中，提取出集合级别特征来优化长文本的特征表达.通过在三个数据上的实验分析，论文在平均分词长度较长的数据集上取得了90.82%的准确率，高出目前最优方法4.37%.     

面向武器装备领域的复杂实体识别

针对武器装备领域复杂实体的特点, 提出一种融合多特征后挂载武器装备领域知识的复杂命名实体识别方法。首先, 使用BERT 模型对武器装备领域数据进行预训练, 得到数据向量, 使用Word2Vec模型学习郑码、五笔、拼音和笔画的上下位特征, 获取特征向量。然后, 将数据向量与特征向量融合, 利用Bi-LSTM模型进行编码, 使用CRF解码得到标签序列。最后, 基于武器装备领域知识, 对标签序列进行复杂实体的触发检测, 完成复杂命名实体识别。使用环球军事网数据作为语料进行实验, 分析不同的特征组合、不同神经网络模型下的识别效果, 并提出适用于评价复杂命名实体识别结果的计算方法。实验结果表明, 提出的挂载领域知识且融合多特征的武器装备复杂命名实体识别方法的F1值达到95.37%, 优于现有方法。     

面向智能变电站的威胁与风险评价模型研究与实现

针对传统入侵检测系统在资源受限的工业网络中部署时效率和稳定性表现不足的问题,首先提出了面向智能变电站的入侵检测系统,以及工业设备安全风险评估方法,建立了针对智能变电站结构的威胁风险评价模型,引入基于灰色模型的网络脆弱性节点主动预测方法用以平衡威胁来源的权重;其次提出基于信息安全三维度风险值计算算法,引入模糊一致判断矩阵进行风险值参数计算,最终实现可以直观判断攻击对系统的影响范围和程度的风险评价.通过相关实验,系统在部署环境中满足被动性、低负荷、实时性以及可靠性要求的同时,能够有效地检测工业网络面临的入侵威胁.     

基于轻量化深度学习网络的数字仪表识别

数字式仪表常用于变电站、工厂等生产环境,是一种直观的设备监测仪器。然而当前数字式仪表的读取方式还依赖于人工巡检,手动记录等,这些传统的巡检方式来监测设备的运行状态大大降低了巡检效率。为了实现传统行业的数字化转型,本文提出基于轻量化深度学习的数字仪表识别方法,通过改进的YOLOv5的目标检测框架,针对数字仪表目标区域在整张图片大小不一致的情况,提出对于感兴趣区域（ROI）的迭代目标检测方法,首次检测将感兴趣区域进行检测并切割统一到相同的尺度,随后迭代检测网络针对感兴趣区域内的字符进行检测并分类,以达到精确读数的目的。为提升多尺度检测性能,本文采用Res2Net模块主干网络中的的残差模块。采用GIoU取代通用的IoU作为位置损失函数加速模型训练效果的收敛。实验表明,改进后的框架实现了99.62%的准确率和99.55%的召回率,相比基线网络分别提升了12.72%和5.85%。通过将框架在边缘计算平台上的终端部署,在实际生产中取代了人工巡检,实现了商业化运行。     

基于BERT的诉讼案件违法事实要素自动抽取

针对诉讼案件违法事实要素抽取效果依赖领域专业知识的特点,提出一种基于transformer双向编码器表示(bidirec-tional encoder representations from transformer,BERT)的诉讼案件违法事实要素自动抽取方法.首先,通过构建领域知识并采用谷歌BERT预训练语言模型进行训练得到拟合诉讼案件领域数据的模型参数和中文预训练字嵌入向量作为模型的输入,得到具有上下文相关的语义表示,以提高词嵌入的上下文语义质量.其次,采用循环卷积神经网络对文本进行编码并获取在文本分类任务中扮演关键角色的信息,提升案件违法事实要素抽取的效果.最后,采用focal函数作为损失函数关注难以区分的样本.违法事实要素抽取的工作是通过对文本标签进行分类得到的.实验测试表明,该方法对诉讼案件要素抽取的F1值为86.41％,相比其他方法性能均有提高.对模型注入领域内知识,也可以提高模型抽取准确率.     

融合领域词典嵌入的航空不安全事件命名实体识别

针对航空不安全事件领域命名实体识别任务,以航空安全信息周报为数据源,分析并构建航空不安全事件命名实体识别数据集和领域词典。为解决传统命名实体识别模型对于捕获领域实体边界性能较差的问题,基于BERT(bidirectional encoder representations from transformers)预训练语言模型提出融合领域词典嵌入的领域语义信息增强的方法。在自建数据集上进行多次对比实验,结果表明：所提出的方法可以进一步提升实体边界的识别率,相较于传统的双向长短期记忆网络-条件随机场(bi-directional long short term memory-conditional random field, BiLSTM-CRF)命名实体识别模型,性能提升约5%。     

基于压力容器裂纹图像检测及识别算法研究

压力容器作为一种特种设备,其安全越来越受到重视。为了保障其安全运行,选择压力容器裂纹图像为研究对象,构建检测及识别算法模型。针对算法模型在实际部署时受到内存空间、处理器计算能力等多方面硬件条件的制约问题,提出了基于NewEfficientNet-B0的轻量化方法,结果表明算法模型降低模型参数数量达78%。针对微小裂纹图像识别难度较大问题,提出了改进多尺度预测的方法,测试数据集上达到了81%的检测识别准确率。     

基于域泛化的工业设备无监督异常声音检测算法

在工业场景中,因为设备异常现象的罕见性和高度多样化,以及机器的操作条件或环境噪声在训练和测试阶段的不同,会改变训练和测试数据之间的声学特性。为解决上述问题,提出一种基于联合深度学习和变分贝叶斯高斯混合模型的无监督异常声音检测算法。通过两种神经网络联合训练进行信息提取,并利用变分贝叶斯高斯混合模型对其所获得的嵌入进行聚类分析;引入一种新的混合示例数据增强方法,用多种方式相结合的替代方法来生成示例,以对齐不同域之间的分布;应用了一种改进的子集群AdaCos损失函数,以排除潜在的异常值。实验结果表明,该方法在三种工业机器类型的数据集上目标域的平均曲线下面积达到了79.03%,平均F₁分数达到了67.23%;对比基线模型,谐波平均值提升约20%,在工业设备无监督异常声音检测中表现良好。     

对抗网络和BERT结合的电商平台评论短文本情感分类

文本情感分类领域性强,传统情感分类方法在多领域混合数据上效果不佳.为了提升多领域混合情境下文本情感分类的准确率,使用双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到短文本的初级表征;利用对抗网络提取与领域无关的情感特征;利...