基于残差卷积自注意力神经网络的铝电解过热度识别方法

过热度是反映铝电解槽当前生产效率的重要指标,由于过热度难以在线实时测量,本文提出一种基于残差卷积自注意力神经网络的过热度识别方法.针对铝电解生产过程数据为时间序列数据且具有多源异构特性,设计异构数据的同构表示方法.在此基础上建立残差卷积自注意力神经网络模型以提取同构时间序列数据的全局与局部特征.针对过热度数据标签少且类别分布不均匀问题,采用基于自动编码器的无监督预训练方法与加权交叉熵损失函数以提高过热度识别任务的性能.在基准数据集上进行仿真对比实验以验证本文所提方法的有效性,然后在只包含少量不平衡标签的铝电解过热度数据集上进行实验验证,结果表明本文构建的过热度识别模型相较与其他现有模型不仅提高了过热度识别准确率,而且在训练样本较少时保证了模型的泛化能力.     

基于预训练模型和多视角循环神经网络的电力文本匹配模型

针对传统方法未能考虑词向量的动态性及句子间交互不充分等问题,提出基于BERT预训练模型及多视角循环神经网络的文本匹配模型。通过BERT-whitening方法对BERT输出的句向量进行线性变换优化,并利用多视角循环神经网络将两句子不同位置的BERT动态词向量进行双向交互计算;将句向量与词粒度交互向量进行融合后计算结果。实验结果表明,提出的模型相较于对比模型有明显性能提升,实用性良好。     

基于改进高分辨率网络的人脸性别和年龄识别

针对目前利用人脸特征进行性别和年龄识别率较低的问题, 提出一种基于改进高分辨率网络(improved high-resoultion net, IHRNet)的新方法. 首先, 在IHRNet中融合具有少量参数和较高识别率的MobileNetV3结构, 结合高分辨率网络自身具有的多尺度特征提取优势, 有效提升了人脸特征识别的准确率; 其次, 为降低过拟合风险, 网络先采用IMDB-WIKI人脸数据集进行预训练, 然后加载预训练模型在Adience人脸数据集中进行训练和测试; 最后, 与ResNet50,HRNet,MobileNetV3三种同类算法进行对比. 实验结果表明, IHRNet在年龄及性别识别上的准确率分别高达82%,95%, 比同类算法分别平均提升9%和3%, 且参数量较未改进时下降36%, 验证了改进算法的有效性.     

论高校学生干部管理的有效性

高校学生干部是新时期高校学生思想政治工作中的一支重要力量，对促进高校教育事业的发展和精神文明建设起着十分重要的作用。如何保证学生干部管理的有效性，是推动高校学生工作不断向前迈进的重要课题。文章从学生干部的培养、使用和管理三个方面，阐述高校学生干部管理的有效性。     

预训练模型下航天情报实体识别方法

为了快速处理航天情报,基于数据驱动的深度学习技术,提出融合多源异构知识标注中文航天情报数据集的方法流程,以及基于预训练(pre-training)模型的航天情报实体识别(AIER)方法;通过对航天情报进行命名实体识别,达到对航天情报进行信息抽取的目的.通过融合BERT(bidirectional encoder representation from transformers)预训练模型和条件随机场(CRF)模型构建AIER模型(BERT-CRF模型),将其与隐马尔可夫模型(HMM)、条件随机场(CRF)模型、双向长短期记忆网络加条件随机场(BiLSTM-CRF)模型进行实体识别对比实验.结果表明:基于预训练模型的AIER模型能够取得93.68%的准确率、97.56%的召回率和95.58%的F₁值;相比于其他方法,基于预训练模型方法的性能得到提高.     

基于RoBERTa与句法信息的中文影评情感分析

细粒度情感分析是自然语言处理的关键任务之一,针对现有的解决中文影评情感分析的主流方案一般使用Word2Vector等预训练模型生成静态词向量,不能很好地解决一词多义问题,并且采用CNN池化的方式提取文本特征可能造成文本信息损失造成学习不充分,同时未能利用文本中包含的长距离依赖信息和句子中的句法信息。因此,提出了一种新的情感分析模型RoBERTa-PWCN-GTRU。模型使用RoBERTa预训练模型生成动态文本词向量,解决一词多义问题。为充分提取利用文本信息,采用改进的网络DenseDPCNN捕获文本长距离依赖信息,并与Bi-LSTM获取到的全局语义信息以双通道的方式进行特征融合,再融入邻近加权卷积网络(PWCN)获取到的句子句法信息,并引入门控Tanh-Relu单元(GTRU)进行进一步的特征筛选。在构建的中文影评数据集上的实验结果表明,提出的情感分析模型较主流模型在性能上有明显提升,其在中文影评数据集上的准确率达89.67%,F1值达82.51%,通过消融实验进一步验证了模型性能的有效性。模型能够为制片方未来的电影制作和消费者的购票决策提供有用信息,具有一定的实用价值。     

基于BERT的诉讼案件违法事实要素自动抽取

针对诉讼案件违法事实要素抽取效果依赖领域专业知识的特点,提出一种基于transformer双向编码器表示(bidirec-tional encoder representations from transformer,BERT)的诉讼案件违法事实要素自动抽取方法.首先,通过构建领域知识并采用谷歌BERT预训练语言模型进行训练得到拟合诉讼案件领域数据的模型参数和中文预训练字嵌入向量作为模型的输入,得到具有上下文相关的语义表示,以提高词嵌入的上下文语义质量.其次,采用循环卷积神经网络对文本进行编码并获取在文本分类任务中扮演关键角色的信息,提升案件违法事实要素抽取的效果.最后,采用focal函数作为损失函数关注难以区分的样本.违法事实要素抽取的工作是通过对文本标签进行分类得到的.实验测试表明,该方法对诉讼案件要素抽取的F1值为86.41％,相比其他方法性能均有提高.对模型注入领域内知识,也可以提高模型抽取准确率.     

汽车故障知识图谱构建及应用研究

知识图谱技术对汽车高效的故障诊断具有重要的意义,现有汽车故障知识图谱构建存在着实体识别模型效果不佳、无法解决嵌套实体等问题。针对上述问题,通过采用全词掩码的预训练语义模型、加入对抗训练和改进嵌套实体识别模型的方式提高实体识别模型效果,提出了一种改进的嵌套实体识别模型。实验结果表明,所提模型在F1指标、P指标、R指标上相比基线模型分别提高了3.56%、4.08%、3.05%,相比其他模型也有不同程度的提高,验证了所提模型对汽车维修领域实体识别具有显著效果。同时,基于构建的汽车故障知识图谱,实现了汽车故障知识智能问答原型系统,展示了知识图谱技术在汽车故障诊断与维护领域的应用前景。     

多模态与文本预训练模型的文本嵌入差异研究

为了详细地分析文本单模态预训练模型RoBERTa和图文多模态预训练模型WenLan文本嵌入的差异,提出两种定量比较方法,即在任一空间中,使用距离一个词最近的k近邻词集合表示其语义,进而通过集合间的Jaccard相似度来分析两个空间中词的语义变化;将每个词与其k近邻词组成词对,分析词对之间的关系。实验结果表明,图文多模态预训练为更抽象的词(如成功和爱情等)带来更多的语义变化,可以更好地区分反义词,发现更多的上下义词,而文本单模态预训练模型更擅长发现同义词。另外,图文多模态预训练模型能够建立更广泛的词之间的相关关系。     

基于BERT的危险化学品命名实体识别模型

针对危险化学品实体识别及关系识别的问题,本文基于双向长短期记忆网络连接条件随机场(Bidirectional Long Short-Term Memory with Conditional Random Field, BiLSTM-CRF)模型,通过引入双向编码器表示(Bidirectional Encoder Representation from Transformers, BERT)模型结合多头自注意力机制,提出了一种预训练命名实体模型BERT-BiLSTM-self-Attention-CRF,通过对危险化学品的文本进行字符级别编码,得到基于上下文信息的字向量,增强了模型挖掘文本全局和局部特征的能力。实验结果表明,在自行构建的数据集上,本文模型优于其他传统模型,其F1值为94.57%。