基于BERT-BiGRU-CNN模型的短文本分类研究

针对传统语言模型不能解决深层双向表征和分类模型不能充分捕获文本显著特征的问题,提出了一种基于BERT-BiGRU-CNN(Bidirectional Encoder Representation from Transformers-Bidirectional Gating Recurrent Unit-Convolutional Neural Networks)的文本分类模型。首先,该模型使用BERT预训练语言模型进行文本表示;其次,将BERT的输出数据输入BiGRU中,以捕获文本的全局语义信息;然后,将BiGRU层的结果输入CNN中,捕获文本局部语义特征;最后,将特征向量输入Softmax层得到分类结果。实验采用中文新闻文本标题数据集,结果表明,基于BERT-BiGRU-CNN的文本分类模型在数据集上的F₁值达到0.948 5,优于其他基线模型,证明了BERT-BiGRU-CNN模型可提升短文本的分类性能。     

基于BERT的长文本分类方法

由于预训练模型输入分词数量限制，基于BERT的长文本分类任务效果与长文本分割后的文本段集合的处理及特征融合密切相关，现有的长文本分类研究在融合文本段特征时更关注文本段之间原始的顺序关系，而本文提出了一种基于BERT和集合神经网络的长文本分类模型.该方法以BERT为基础，可处理从同一文本样本分割得到的任意数量文本段，经过BERT后得到文本段特征，再将所有文本段特征输入到具有置换不变性的集合神经网络层中，提取出集合级别特征来优化长文本的特征表达.通过在三个数据上的实验分析，论文在平均分词长度较长的数据集上取得了90.82%的准确率，高出目前最优方法4.37%.     

文本分类中基于CHI和PCA混合特征的降维方法

中文文本数据的半结构化甚至非结构化的特点使得其分类存在着特征高维的问题,传统单一的特征降维方法难以满足大数据时代的文本分类需求.基于此,提出了一种基于卡方统计(Chi-square statistics,CHI)和主成分分析(principal component analysis,PCA)的混合特征降维方法(CHI-...     

多注意力机制BERT分类模型及其在电力运维中的应用

为了提高变换网路中双向编码表示(bidirectional encoder representations from transformers,BERT)在文本分类中的应用效果，针对基于BERT的文本分类模型在注意力机制设计中无法关注文本中重点信息的问题，提出了一种基于多注意力机制的BERT分类模型。对BERT模型框架中后四层的每一层输入向量，设计词向量注意力机制，捕捉向量表中每一个词的重要性;对得到的BERT模型框架中后四层，设计层向量注意力机制，将这四层上由自适应权重计算得到的每一层输出向量进行融合，获得最终的BERT模型输出向量，更好地提升模型的特征抽取能力。在公开数据集IMDB和THUCNews上的实验表明，提出的模型相较于其他基线模型性能有明显提升。在电力系统运维项目管理的实际应用中，该模型也取得了比基线模型更好的效果，较好地解决了电力运维规模预测混乱问题。     

基于反馈图卷积神经网络的事件检测方法

事件检测是自然语言处理领域的重要任务之一,其结果可以有效支撑信息抽取、文本分类和事件推理等下游任务. 预训练语言模型BERT在事件检测任务上取得了显著的成绩,然而该类方法无法有效获取长距离和结构化的文本信息. 为了缓解该问题,本文提出基于反馈网络的图卷积神经网络模型进行文本结构信息捕获,同时这种新方法能够有效解决图卷积神经网络带来的语义信息衰减性问题. 本文首先使用BERT预训练模型获取文本的语义特征,然后使用融入反馈网络的图卷积神经网络提取文本的句法结构特征,最终使用多分类器实现对事件触发词的识别和分类.公开数据集ACE 2005上的实验结果表明,本文提出的事件检测方法在事件触发词识别和分类任务上的F1值分别达到了74.46%和79.49%,较现有工作平均提高了4.13%和4.79%.     

基于领域BERT模型的服务文本分类方法

针对BERT模型领域适应能力较差，无法解决训练数据类别数量不均衡和分类难易不均衡等问题，提出一种基于WBBI模型的服务文本分类方法。首先通过TF-IDF算法提取领域语料中的词汇扩展BERT词表，提升了BERT模型的领域适应性；其次，通过建立的BERT-BiLSTM模型实现服务文本分类；最后，针对数据集的类别数量不均衡和分类难易不均衡问题，在传统焦点损失函数的基础上提出了一种可以根据样本不均衡性特点动态调整的变焦损失函数。为了验证WBBI模型的性能，在互联网获取的真实数据集上进行了大量对比试验，实验结果表明：WBBI模型与通用文本分类模型TextCNN、BiLSTM-attention、RCNN、Transformer相比Macro-F1值分别提高了4.29%、6.59%、5.3%和43%;与基于BERT的文本分类模型BERT-CNN、BERT-DPCNN相比，WBBI模型具有更快的收敛速度和更好的分类效果。     

面向规范性文件的基于BERT的文本纠错模型

针对行政规范性文件的文本纠错任务,提出了基于BERT(Bidirectional Encoder Representations from Transformers)的文本纠错模型,模型针对冗余、缺失、错序、错字四类任务分别建模,分为检错和纠错两个阶段。检错阶段检查出文本是否有错、错误的位置以及错误的类型等内容,纠错阶段运用BERT掩码语言模型和混淆集匹配的方法预测文本缺失内容。实验结果表明:新提出的基于BERT的文本纠错模型在行政规范性文件的文本纠错任务中的F1值为71.89%,比经典的中文文本纠错工具Pycorrector提升了9.48%。     

基于BERT预训练语言模型的电网设备缺陷文本分类

电网设备缺陷部位识别是设备故障分析的关键环节。该文提出一种基于预训练语言模型双向Transformers偏码表示(Bidirectional encoder representation from transformers,BERT)的电网设备缺陷文本分类方法。基于BERT预训练语言模型对电网设备缺陷部位文本进行预训练生成具有上下文特征的词嵌入(Word embedding)向量作为模型输入,然后,利用双向长短时记忆(Bi-directional long short-term memory)网络对输入的电网设备缺陷文本向量进行双向编码提取表征缺陷文本的语义表征,并通过注意力机制增强电网设备缺陷文本中与缺陷部位相关的领域词汇的语义特征权重,进而得到有助于电网设备缺陷部位分类的语义特征向量。通过模型的归一化层实现电网设备缺陷部位文本分类。在主变压器、SF6真空断路器这两种设备缺陷文本数据集上实验结果表明,提出的方法比基于BiLSTM-Attention模型的F_1值分别提升了2.77%和2.95%。     

改进的基于Transformer的双向编码器的对话文本识别

使用预训练语言模型基于Transformer的双向编码器(bidirectional encoder representation from transformers, BERT)进行文本分类可以帮助民警快速准确地提取电子数据。针对将输入序列的起始符[CLS]位对应的隐含层表示作为句向量输入到全连接层中进行分类会产生一部分语义信息的丢失从而导致分类准确率下降的问题。提出BERT-CNN-SE模型,即在BERT后接一个语义特征提取器以充分利用高层的语义信息,利用不同大小的二维卷积核对BERT输出的隐藏状态进行卷积,然后通过共享权重的挤压和激励(squeeze-and-excitation, SE)模块对通道进行加权,最大池化层后联结起来,最后输入到全连接层进行分类。在自建的涉案对话文本数据集和公开数据集THUCNews上进行测试,改进BERT模型的准确率达到了88.58%和93.64%。结果表明,与BERT基线模型和其他分类模型相比,改进BERT模型具有更好的分类效果。     

基于模态交互学习的属性级情感分析

属性词提取和情感极性分类是细粒度情感分析的重要研究内容。为了提高属性词提取和情感极性分类的准确率，本文提出了一种改进的ReBERT模型。该模型基于深度学习的属性级情感分析，引入图像模态进行交互学习，选择了关系提取辅助的融合手段，在文本与图像双模态经BERT,ResNet预训练模型提取的特征向量基础上实现了属性词提取、情感极性分类两个基本任务。该模型在标记后的Twitter15/17数据集上表现良好，属性词预测F1值分别为81.9%与90.8%，属性级情感识别的精确率为76.5%与72.3%。本研究将该模型与同数据集下其他先进的基线方法进行了对比实验，与文本模态的消融实验相辅，证明了该模型在属性级情感分析任务上的优越表现。     

关于短信网关的分析论述

信息作为我们生活交流媒介的一部分,那么信息的接收和发送更值得我们深入的认识和研究.主要从短信网关的引入、短信网关的系统组成、短信网关的系统功能以及应用短信网关服务进行分析论述.     

空间环境对植物影响的研究进展

从蛋白质和基因水平分别介绍空间微重力、强电离辐射、亚磁场及空间综合因素对生物性状和遗传变异的影响,并对今后空间诱变育种的前景和存在问题加以概述。     

基于Hyper-V的校内私有云构建研究

针对云计算的发展趋势,结合校园网基础设施特点,研究和分析了虚拟化技术和云计算模式,提出一种基于Hyper-V的私有云计算环境模式,并在校园网内实现了该模式的私有云构建,为云计算环境在高校的实现提供了具体方法。     

基于迁移学习的危险行为识别方法研究

深度学习中卷积神经网络在行为识别领域有着良好的识别效果,但是由于深度学习需要较大数据集训练模型,而现今公开数据集中危险行为识别相关方向没有大量数据集。针对危险行为识别领域样本少、无法进行深度学习训练等问题,建立了危险行为识别数据集,并采用迁移学习方法对C3D网络模型进行迁移训练。结果表明,迁移学习后C3D网络模型对危险行为识别数据集平均识别率达到了83. 2%,可以有效识别危险行为动作。     

基于Carsim的弯道路段行车轨迹研究

针对受驾驶人自身驾驶经验和习惯、视野、道路周边环境等因素影响的车辆行驶轨迹,探究了典型车辆行驶轨迹(正常轨迹、理想轨迹、切线轨迹、漂移轨迹、摇摆轨迹和修正轨迹)条件下的车辆动力学响应. 在Carsim环境中构建了以6种行车轨迹为道路中心线的弯道路段,并使车辆的左前轮始终沿道路中心线行驶,仿真过程中记录车辆动力学参数的时变曲线. 研究表明:车辆沿切线和正常轨迹行驶时,能够以安全、高效、舒适的理想状态通过弯道路段;而当车辆沿修正轨迹、摇摆轨迹等行驶时,行驶稳定性和舒适性较差.     

基于MFOP的可靠性维修方案研究

基于无维修工作期(Maintenance Free Operating Period,MFOP)的可靠性理论既可有效改善飞机及其设备的可用性,同时也可大大降低后勤保障成本;首先对MFOP及其相关概念进行了介绍,然后重点讨论了基于MFOP的维修方案的制订方法及其对飞机可用性、维修成本和设计的影响。     

绝缘体上硅高温压力传感器研究

采用有限元分析工具ANSYS完成了一种矩形弹性膜绝缘体上硅(SOI)高温压力传感器的优化设计，制作出样品，并与相同结构、工艺的多晶硅压力传感器进行了对比测试。结果表明：1：2的膜片宽长比可以使SOI压力传感器的灵敏度达到220mV／MPa，远大于多晶硅压力传感器的灵敏度(约50mV／MPa)。此外，该传感器能够工作在200℃的高温环境中，有良好的长期稳定性，30d内的零点时间漂移为0．12％。     

基于SOPC的SVPWM波形研究

介绍一种采用SOPC技术设计的SVPWM波形发生器,在FPGA中嵌入了32位NiosⅡ软核系统,用以处理SVPWM波形的计算、输出与显示等功能.利用可编程逻辑器件的可在线编程特点和SOPC的技术优势,灵活、快捷地将所需功能模块完全集成在单片的FPGA上,使电路的硬件结构简单,具有较高的性价比.     

Study on copper adsorption on olivine

The copper adsorption on olivine supplied by A/S Olivine production plant at Aheim in western Norway has been studied. The factors which affect the uptake of copper have been evaluated. The results reveal that the equilibrium PH in aqueous solution has the greatest influence on the copper adsorption thanks to the competitive adsorption between proton and copper ions, and the adsorption of copper to olivine increases rapidly with the pH increasing from 4 to 6. The initial copper concentration and olivine dose also possess significant effect on copper adsorption. The adsorption efficieny of copper increases with the increase of olivine dose or the decrease of initial copper concentration at the same pH. The ionic strength effect on the adsorption has also been investigated, but it owns little effect on the adsorption process of copper due to the formation of inner sphere surface complexation of copper on olivine. The experimental data show that olivine has a high acid buffer capacity and is an effective adsorbent for copper.     

基于AJAX的WebGIS应用

针对目前WebGIS中所存在的问题,介绍了AJAX方法的概念和内涵,提出了基于AJAX方法构建网络地理信息系统的思路。并以森林资源信息网络发布系统的原型开发为例,阐述了该方法的优点和一些关键技术。结果表明通过AJAX方法的使用不仅能够快速地实现森林资源信息的网络发布功能,而且能够很好地改善WebGIS应用中以地图为载体的地理信息的网络传播和显示速度,带来丰富的用户体验。