一种结合词性及注意力的句子情感分类方法

针对目前各种基于长短期记忆网络LSTM的句子情感分类方法没有考虑词的词性信息这一问题,将词性与自注意力机制相结合,提出一种面向句子情感分类的神经网络模型PALSTM(Pos and Attention-based LSTM).首先,结合预训练词向量和词性标注工具分别给出句子中词的语义词向量和词性词向量表示,并作为LSTM的输入用于学习词在内容和词性方面的长期依赖关系,有效地弥补了一般LSTM单纯依赖预训练词向量中词的共现信息的不足;接着,利用自注意力机制学习句子中词的位置信息和权重向量,并构造句子的最终语义表示;最后由多层感知器进行分类和输出.实验结果表明,PALSTM在公开语料库Movie Reviews、Internet Movie Database和Stanford Sentiment Treebank二元分类及五元情感上的准确率均比一般的LSTM和注意力LSTM模型有一定的提升.     

融合词性和注意力机制的舆情本体非分类关系抽取研究

针对目前大多数非分类关系抽取方法忽略词性和部分局部特征的问题,提出融合词性信息和注意力机制的BiLSTM模型.利用预训练词向量和词性标注工具,将舆情信息语义词向量和词性词向量作为BiLSTM的输入来获取句子高维语义特征,解决长距离依赖问题.利用词语层注意力机制计算2个概念与上下文词语的相关性,获取句子的上下文语义信息.通过构建句子层的注意力来降低噪声数据的权重,减少错误标签的干扰,进而完成舆情本体概念间非分类关系的抽取.最终在新闻网站上抽取11227条数据进行了验证.结果表明,该方法的精确率(P)和召回率(R)相比于其他方法更好地实现了非分类关系的抽取,验证了该方法的有效性.     

基于迁移学习的维吾尔语命名实体识别

针对维吾尔语命名实体识别存在无法关注词序列依赖关系等问题,提出一种基于迁移学习的联合深度模型(TBIBC).首先通过BERT(Bidirectional Encoder Representations from Transformers)预训练中文数据集生成具有语义信息的词向量,再将词向量序列通过空洞卷积神经网络(IDCNN)进行膨胀操作以减少神经元层数和参数,输出向量输入到双向门控循环单元(BiGRU)进行上下文语义信息提取,然后通过CRF层得到最优标签序列.模型采用共享深度神经网络隐藏层的方法将训练好的中文实体识别模型迁移到维吾尔语模型上.结果表明,该模型的准确率为91.39%,召回率为90.11%,F1值达到90.75%,能显著提升维吾尔语命名实体识别性能.     

基于语言模型及循环卷积神经网络的事件检测

目前,事件检测的难点在于一词多义和多事件句的检测.为了解决这些问题,提出了一个新的基于语言模型的带注意力机制的循环卷积神经网络模型(recurrent and convolutional neural network with attention based on language models,LM-ARCNN).该模型利用语言模型计算输入句子的词向量,将句子的词向量输入长短期记忆网络获取句子级别的特征,并使用注意力机制捕获句子级别特征中与触发词相关性高的特征,最后将这两部分的特征输入到包含多个最大值池化层的卷积神经网络,提取更多上下文有效组块.在ACE2005英文语料库上进行实验,结果表明,该模型的F1值为74.4%,比现有最优的文本嵌入增强模型(DEEB)高0.4%.     

基于Xception的座位状态检测模型

提出一种基于深度可分离卷积Xception的轻量级座位状态检测模型.该模型运用实例分割框架FCIS进行图像预处理,以减少无效信息.模型由输入层、9个卷积层、3个池化层、2层全连接层和输出层组成,将由深度可分离卷积提取得到的初级特征、中级特征和高级特征进行融合后,输入至全连接层进行全局特征整合.在相关数据集上使用该模型和常用模型进行实验,结果表明,该模型的识别精度为91%,高于Xception模型的89%、ResNet-50模型的85%以及基于人脸识别座位状态检测的82%.     

基于注意力机制的远程监督实体关系抽取

关系抽取是许多信息抽取系统中的一个关键步骤, 旨在从文本中挖掘结构化事实. 在应用传统的远程监督方法完成实体关系抽取任务时存在 2 个问题: ① 远程监督方法将语料库中的文本与已标注实体和实体间关系的知识库启发式地对齐, 并将对齐结果作为文本的标注数据, 这必然会导致错误标签问题; ② 目前基于统计学的方法过于依赖自然语言处理工具, 提取特征处理过程中生成的噪声积累严重影响抽取结果. 为了解决远程监督存在的弊端, 提出了一种基于注意力机制的端到端的分段循环卷积神经网络(convolutional neural network, CNN)模型. 为了检测更加细微的特征, 在网络输入层添加了注意力机制, 自动学习句子中与关系抽取相关的内容; 基于位置特征和词向量特征对句子进行编码, 并使用分段卷积神经网络(piecewise CNN, PCNN)抽取句子特征进行分类, 在网络中使用了效率较高的最大边界损失函数来衡量模型的性能. 该方法在 New York Times (NYT)数据集上的准确率比经典的 PCNN+MIL 模型提高了 2.0%, 比经典的 APCNN+D 模型提高了 1.0%, 与其他几种基线模型相比, 该模型准确率表现出色.     

基于改进的SqueezeNet的人脸识别

针对众多基于卷积神经网络的人脸识别技术在追求提高人脸识别率上,忽视了网络模型输入参数,导致模型输入参数多、训练时间长和无法在内存小的硬件上运行等问题,提出一种基于改进的Squeeze Net的人脸识别模型。改进的Squeeze Net模型保留了原网络模型中的小卷积核去提取图片特征,还采用首尾池化层分别引入对应的后续卷积层进行特征融合,提取细微的人脸纹理特征来稳定模型收敛性,防止小的卷积核在复杂的人脸训练集上产生过拟合。针对分类函数Softmax的改进,采用L2范数约束的方法,将最后一层的特征约束在一个球面内,减少相同特征间距,提高网络收敛能力。通过两种改进后的Squeeze Net模型在与其他的先进模型对比,在不降低人脸识别准确率的前提下,具有输入参数少、模型易于收敛和能够运行在内存小的硬件设备的优势。结果在CASIA-WebFace和ORL人脸库上得到了有效性的实验验证。     

结合批归一化的轻量化卷积神经网络分类算法

传统的深度卷积神经网络结构复杂,参数量多.针对现有的轻量化卷积神经网络模型结构,提出一种改进的轻量化卷积神经网络BN-MobileNet.采用模型压缩的方法对原结构进行缩减,减少冗余参数,再对深度可分离卷积的结构进行改进,在relu非线性激活层后加入归一化层来对非线性激活层所输出的数据进行归一化处理.同时,使用全局平均池化层来代替全连接层,减小模型结构的复杂度和参数量.通过在标准的分类数据集cifar10和cfar100上进行实验,实验结果表明,本文提出的改进模型能够降低运行的时间和模型的大小,提高了检测的速度,在标准分类数据集上的分类准确率各有2.68％和3.16％的提升.     

基于卷积神经网络的壁面清洗机器人障碍物检测识别算法

结合机器人的工作原理以及卷积神经网络(CNN)在图像分类中的应用,提出了一种基于卷积神经网络的壁面障碍物检测识别算法.首先,以壁面障碍物准确识别为目标,构建壁面障碍物图像库;然后,通过对VGG-16网络简化后进行优化,得到适合壁面障碍物准确识别的卷积神经网络模型.在此基础上,设计该网络由输入层、4层卷积层、2层池化层、1层全连接层以及输出层组成,进一步利用3×3卷积核对训练样本进行卷积操作,并将所获取的特征图以2×2领域进行池化操作.重复上述操作后,通过学习获取并确定网络模型参数,得到最佳网络模型.实验结果表明,障碍物的识别准确率可达99.0%,具有良好的识别能力.     

拆分降尺度卷积神经网络入侵检测方法

针对卷积神经网络模型待训参数量过大、多层网络导致特征和梯度消失等问题,论文提出了一种基于拆分层和Inception-ResNet的卷积神经网络模型用于入侵检测。首先将网络流量数据转化为具有空间相关性的图像以适用于卷积神经网络的输入;然后使用Inception-ResNet卷积层增加网络深度,减少模型训练参数数量以及消除梯度消失问题,拆分层在降低图像尺度时基本保持图像原有分类特征;最后采用NSL-KDD数据集对改进模型进行训练和测试。测试结果表明,改进模型相对于Inception-ResNet模型具有更高的检测准确率和少数类样本召回率以及更好的训练时间性能。     

基于级联卷积和Attention机制的情感分析

目前大多数情感分类方法由于只学习到文本的浅层特征且无法区分不同词的重要性,导致情感分类准确率低的问题,因此提出了一种基于级联卷积和注意力机制的情感分析模型.利用多个卷积层提取序列文本的局部特征,同时使用注意力机制从卷积层生成的特征图中进一步学习相关信息,获取不同词和特征的不同影响权重;然后将两者特征级联在一起,形成一个新的特征图,这个特征图又作为后面卷积层的输入进行特征提取,重复此过程获取文本的深层特征.并且使用全局平均池化代替了传统的全连接来减少网络的参数数量.实验部分通过多个评价指标对比了提出方法与其他模型的性能,证明提出的方法在多个方面具有良好的情感识别性能.     

基于级联卷积神经网络的人脸特征点识别算法实现

针对在有冗余图像信息干扰下进行人脸有效特征点提取时精度不高的问题,提出了基于级联卷积神经网络的人脸特征点检测算法.在该算法中:输入层读入规则化的原始图像,神经元提取图像的局部特征;池化层进行局部平均和降采样操作,对卷积结果降低维度;卷积层和池化层分布连接,迭代训练,输出特征点检测结果.该算法采用Python语言编程实现,在人脸数据集进行仿真实验,结果表明该算法对人脸特征点有较高的识别率.     

基于RoBERTa与句法信息的中文影评情感分析

细粒度情感分析是自然语言处理的关键任务之一,针对现有的解决中文影评情感分析的主流方案一般使用Word2Vector等预训练模型生成静态词向量,不能很好地解决一词多义问题,并且采用CNN池化的方式提取文本特征可能造成文本信息损失造成学习不充分,同时未能利用文本中包含的长距离依赖信息和句子中的句法信息。因此,提出了一种新的情感分析模型RoBERTa-PWCN-GTRU。模型使用RoBERTa预训练模型生成动态文本词向量,解决一词多义问题。为充分提取利用文本信息,采用改进的网络DenseDPCNN捕获文本长距离依赖信息,并与Bi-LSTM获取到的全局语义信息以双通道的方式进行特征融合,再融入邻近加权卷积网络(PWCN)获取到的句子句法信息,并引入门控Tanh-Relu单元(GTRU)进行进一步的特征筛选。在构建的中文影评数据集上的实验结果表明,提出的情感分析模型较主流模型在性能上有明显提升,其在中文影评数据集上的准确率达89.67%,F1值达82.51%,通过消融实验进一步验证了模型性能的有效性。模型能够为制片方未来的电影制作和消费者的购票决策提供有用信息,具有一定的实用价值。     

基于多通道卷积神经网络的中文文本关系抽取

给出了一种多通道卷积神经网络(Convolutional Neural Network, CNN)方法实现中文文本端到端的关系抽取.每个通道用分层的网络结构,在传播过程中互不影响,使神经网络能学习到不同的表示.结合中文语言的难点,加入注意力机制(Attention Mechanism, Att)获取更多的语义特征,并通过分段平均池化融入句子的结构信息.经过最大池化层获得句子的最终表示后,计算关系得分,并用排序损失函数(Ranking-Loss Function, RL)代替交叉熵函数进行训练.实验结果表明,提出的MCNN_Att_RL (Multi CNN_Att_RL)模型能有效提高关系抽取的查准率、召回率和F_1值.     

基于残差神经网络的滚动轴承故障诊断方法

针对轴承故障诊断方法在变工况条件下诊断效果不佳的问题,提出了一种基于残差神经网络的滚动轴承故障诊断方法.该方法首先以滚动轴承时域信号数据作为输入,针对信号的时变性改进了数据池化层,改进的数据池化层利用三个连续的卷积层串联构建而成,目的在于能够有效地提取振动信号中的故障特征信息,并减少残差神经网络中参数的计算量;然后设计了一种空洞卷积和残差块相结合的空洞残差块,用于特征信息的学习;最后通过在全连接层后加入Dropout层丢弃一定比例的神经元,能有效避免过拟合的负面影响.使用凯斯西储大学轴承数据集进行仿真实验,与SVM+EMD+Hilbert包络谱、BPNN+EMD+Hilbert包络谱和Resnet三种方法作对比分析,结果表明该方法在变工况下的滚动轴承故障诊断中具有更高的诊断准确率、更强的抗噪性和泛化能力.     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息.实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率.     

改进的基于Transformer的双向编码器的对话文本识别

利用文本分析技术可以帮助民警快速地准确地提取电子数据,使用预训练语言模型进行下游任务能够有效减轻过拟合,在使用微调BERT进行文本分类的时候一般将[CLS]位对应的隐含层表示作为句向量输入到全连接层中进行分类,这会产生一部分语义信息的丢失从而导致分类准确率的下降。针对这一问题,提出在BERT后接一个语义特征提取器以充分利用高层的语义信息,使用不同大小的二维卷积核对BERT输出的隐藏状态进行卷积,然后用共享权重的Squeeze-and-Excitation模块对通道进行加权,通过最大池化层后连结起来,最后输入到全连接层进行分类。在自建的涉案对话文本数据集和公开数据集THUCNews上进行测试,结果表明,与BERT基线模型和其他分类模型相比,改进后的微调BERT模型具有更好的分类效果。     

地理信息服务领域的实体自动化识别

针对地理信息服务领域(Geographic Information Services,GIServices)在实体自动识别方面存在缺乏语料、多种实体嵌套、语义稀疏等问题,本文设计了一套地理信息服务文献实体标注规范,构建了地理信息服务领域的语料;在传统实体识别模型BiLSTM-CRF的基础上,引入了BERT(Bidirectional Encoder Representaions from Transformers)预训练模型及卷积层(Convolutional layer),构建了 BERT-1DCNN-BiLSTM-CRF模型,提升了地理信息服务文献实体识别的准确率.该模型在词嵌入层以BERT预训练模型取代了传统的静态语言模型,从而有效地解决了地理信息服务领域因缺乏大量训练语料而无法表达更丰富句子语义信息的问题;此外,在BERT模型之后还加入了字间卷积特征,提升了句子局部特征的表示能力,降低了句子语义稀疏的干扰.实验结果表明,融合了 BERT模型与CNN模型的GIServices文献实体识别方法效果优于传统深度学习的方法,模型准确率达到了 0.826 8,能够较好地实现GIServices文献自动化实体识别,同时也能较好地体现基于BERT的深度学习模型在实体自动化识别方面的有效性.     

基于ERNIE-BiLSTM-DPCNN的微博长文本谣言检测

为了实现对于微博长文本谣言的检测,使用ERNIE模型对微博长文本数据使用词嵌入技术实现对文本的向量化,将这些词向量作为BiLSTM-DPCNN模型的输入,利用BiLSTM-DPCNN模型的特性,捕捉句子中的上下文信息和长期依赖关系,最终高效地提取特征并进行分类.数据集通过五折交叉验证方法划分,通过设置多组对比实验,实验结果显示：ERNIE-BiLSTM-DPCNN模型的准确率达到98.52%,高于在同一数据集下的其他同组实验,证明该模型对于微博长文本谣言检测具有较好的效果.     

融合术语信息的神经机器翻译参数初始化研究

针对电气工程领域英汉机器翻译中平行语料稀缺的问题,在使用通用语料训练翻译模型的基础上,提出了一种融合领域术语信息的嵌入层参数初始化方法.首先,对文本进行分词预处理,将术语词划分为一个最小单元;然后,利用Glove和Word2vec在不同单语语料上训练得到两种词向量,并分别初始化嵌入层参数中常用词和术语词的向量表示;最后...