结合注意力机制的Bi-LSTM维吾尔语事件时序关系识别

针对维吾尔语事件时序关系识别问题,提出了一种结合注意力机制的双向长短时记忆模型.基于维吾尔语语言及事件时序关系的特点,抽取13项基于事件间内部结构信息的特征.将词向量作为双向长短时记忆模型的输入,挖掘给定事件句隐含的上下文语义信息.结合事件触发词建立注意力机制,获取该事件句的事件语义特征.将事件内部结构特征和语义特征相融合,作为softmax层的输入,进而完成事件时序关系的识别.实验结果表明,该方法在获取事件句隐含语义信息的同时也能获取对应的事件语义特征.融合事件内部结构特征后,识别准确率为89.42%,召回率为86.70%,衡量模型整体性能的F值为88.03%,从而证明了该方法在维吾尔语事件时序关系识别任务上的有效性.     

基于注意力机制多特征融合与文本情感分析的日志异常检测方法

现有的基于深度学习和神经网络的日志异常检测方法通常存在语义信息提取不完整、依赖日志序列构建和依赖日志解析器等问题.基于注意力机制多特征融合和文本情感分析技术,提出了一种日志异常检测方法 .该方法首先采用词嵌入方法将日志文本向量化以获取日志消息的词向量表示,接着将词向量输入到由双向门控循环单元网络和卷积神经网络组成的特征提取层中分别提取日志消息的上下文依赖特征和局部依赖特征,使用注意力机制分别加强两种特征中的关键信息,增强模型识别关键信息的能力.使用基于注意力机制的特征融合层为两种特征赋予不同权重并加权求和后输入由全连接层构成的输出层中,实现日志消息的情感极性分类,达到日志异常检测的目的 .在BGL公开数据集上的实验结果表明,该模型的分类准确率和F1值分别达到了96.36%和98.06%,与同类日志异常检测模型相比有不同程度的提升,从而证明了日志中的语义情感信息有助于异常检测效果的提升,并且经过实验证明了使用注意力机制的模型可以进一步提高文本情感分类效果,进而提升日志异常检测的准确率.     

融合注意力机制的BERT-BiLSTM-CRF中文命名实体识别

针对目前中文命名实体识别无法表征一词多义以及未能深入捕捉文本潜在语义特征的问题,提出一种融合注意力机制的BERT-BiLSTM-CRF中文命名实体识别方法。首先,通过BERT模型预训练,获得含有丰富语义的词向量;其次,传送到BiLSTM中,获取文本的上下文特征;然后,将上层的输出结果再传向注意力层,对文本中不同文字赋予不同的权重,增强当前信息和上下文信息之间潜在的语义相关性,捕捉文本的潜在语义特征;最后,将结果输入到条件随机场进行解码标注。实验结果表明,在1998年人民日报数据集上取得了较好的识别效果。     

子句级别的自注意力机制的情感原因抽取模型

情感原因抽取(ECE)是情感分析领域的一项重要子任务,旨在识别给定文档中某种情绪表达所对应的原因.现有的一些工作将该任务定义为子句分类任务,关注了文档和子句之间的联系,而忽略情感描述子句与情感原因子句的直接语义联系,同时存在标签不平衡问题,使得情感原因子句位置难以定位.因此,提出了一个基于子句的自注意力机制同时结合了子句相对位置关系的神经网络模型去寻找情感原因子句.为了更加突显句子的局部特征,利用卷积神经网络抽取每个子句的上下文特征.模型首先使用双向长短期记忆网络编码子句信息,融合子句位置特征后,利用自注意力机制计算情感原因子句和情感描述子句之间的语义信息,并结合子句局部上下文特征,抽取情感原因子句.在基于新浪城市新闻的情感原因抽取中文数据集上,查全率R达到83.83%,优于目前的基线方法.     

基于多尺度特征图像分割的车道线提取方法

识别与检测车道线作为自动驾驶感知周围环境的一环，为自主车辆在众多复杂场景中提供交通数据信息参考.为了提取车道线本身含有的交通语义信息，按照实际含义分为不同类别，提出一种多尺度分辨率特征的图像分割方法提取车道线，生成低分辨特征，同时保持高分辨尺度子网.针对卷积神经网络无法充分探索空间信息的局限，引入全自注意力网络结构改进下采样解码部分，将特征图通过嵌入向量映射完成线性采样，再经由全自注意力网络结构提取空间上下文语义信息，最后对图像进行降采样完成最终的下采样过程.利用滑窗多头注意力机制，解决嵌入向量映射层因划分造成边界上下文语义信息的不连续问题.针对改进的模型采用交并比损失函数进行优化，能够在保持精度的情况下正确识别相应类别，交并比和F1系数分别达到49.36%和63.02%.经实际测试，在遮挡、阴影等复杂场景下的车道线识别也能更加准确，具有更好的鲁棒性.     

基于神经网络中文短文本作者识别研究

随着互联网应用的日益普及,短文本作为电子数据证据在法庭科学中日益重要,法院亟需对大量网络聊天内容作者归属进行同一认定。传统机器学习方法对特征选取非常敏感,因为在实践中较难提取到准确的作者写作习惯特征,所以影响了传统机器学习方法的实践效果。针对文本短、特征少、特征提取困难的缺点,提出了融合多属性的神经网络中文短文本作者识别方法。首先将文本的结构特征、语义特征、发送时间、发送位置、发送频率等属性融合进文本序列,对文本序列进行词向量化表示,采用卷积层和Bi-LSTM层自动提取局部特征和上下文关系特征,通过注意力机制动态调整特征权重,使用Softmax分类器得到文本作者。以最大熵模型做对比实验,实验结果表明卷积层和Bi-LSTM层能"学习"到短文本上下文特征,注意力机制能更多"学习"到文本序列不同位置的关键特征,融合多属性的神经网络方法的作者识别精度比传统模型大约提高了5%。     

基于多特征双向门控神经网络的领域专家实体抽取方法

命名实体识别是自然语言处理和信息提取的基本任务,传统专家命名实体识别方法存在过度依赖人工特征标注和分词效果、专家简介中大量专业新词无法识别等问题.本文提出一种基于多特征双向门控神经网络结构并结合条件随机场模型进行领域专家实体抽取方法.该方法首先通过构建领域专家语料库以训练实体抽取模型;接着,使用Bert方法进行字嵌入表示,对语料库专业领域词汇构造要素进行特征分析并提取边界特征;然后,利用双向门控神经网络和注意力机制有效获取特定词语长距离依赖关系;最后,结合条件随机场模型实现命名实体识别.在同一数据集上进行5种方法实验比较分析,结果表明该模型较BiLSTM-CRF和IDCNN-CRF方法F1值提高9.98%以上.     

一种时序边界注意力循环暴力行为检测神经网络

暴力行为检测是行为识别的一个重要研究方向,在网络信息审查和智能安全领域具有广阔的应用前景.针对目前的时序模型在复杂背景下不能有效提取人体运动特征和常规循环神经网络无法联系输入上下文的问题,本文提出一种时序边界注意力循环神经网络TEAR-Net.首先,以本文提出的一种全新的运动特征提取模块MOE为基础,在保留输入视频段序列背景信息的前提下加强运动边界区域.运动边界对于动作识别的作用要远大于图像其他区域,因此运动边界加强能够有效提高动作特征的提取效率,从而提升后续网络的识别精度.其次,引入了一种全新的结合上下文语境和注意力机制的循环卷积门单元(CSA-ConvGRU),提取连续帧之间的流特征以及不同帧的独立特征,并关注关键帧,能够极大提升动作识别的效率,以少量参数和较低计算量的代价掌握视频流的全局信息,从而有效提高识别准确率.本文提出的模型在目前最新的公开数据集RWF-2000和RLVS上进行了多种实验.实验结果表明,本文提出的网络在模型规模和检测精度上均优于目前主流的暴力行为识别算法.     

基于SAT-GCN的花样滑冰选手动作检测算法研究

针对花样滑冰运动人体运动轨迹复杂、动作类型多样、普通人肉眼难以区分且常规的行为识别方法识别准确率低的问题，提出了一种基于时空图卷积网络与多通道注意力机制融合方法 (SAT-GCN)的花样滑冰动作识别算法。该算法首先将视频提取成连续的单独帧，使用OpenPose算法提取人体骨骼关键点数据，降低背景噪声干扰；然后使用时空图卷积算法对骨骼关键点数据进行动作分类。算法对时空图卷积算法进行改进，加入了多通道时空注意力机制融合模块，使得模型更加关注重要的关键点、时间帧片段、特征；使用时序卷积网络(TCN)提取人体骨架关键点在时间序列上的特征；使用SoftMax对提取后的特征进行动作分类。在花样滑冰数据集FSD-10和公开的人类行为数据集Kinetics-Skeleton上进行训练和测试，与改进前的时空图卷积网络(ST-GCN)进行对比，本文所提算法的预测准确率在2个数据集上均有所提升，验证了多通道注意力机制融合方法在花样滑冰选手动作检测任务中的有效性。     

基于双向语言模型的社交媒体药物不良反应识别

与服药相关的社交文本中隐藏着更具时效和更广泛的药物不良反应信息,但是从相对短小、稀疏的社交短文本中提取药物不良反应非常困难。基于此,本文提出一种双向语言预训练模型和注意力机制相结合的神经网络识别方法。该方法利用双向字符级语言预训练模型提取特定字符级特征,而且在提取药物不良反应的同时,通过注意力机制捕获局部和全局语义上下文信息。此外,为了提高该方法的效率,将字符级特征与词级特征相结合,并采用词级预训练和字符级预训练模型代替协同训练。在PSB 2016社交媒体挖掘共享任务2中的实验结果表明,字符特征在形态学上有助于区分药物不良反应,而注意力机制通过捕获局部和全局语义信息提高了对药物不良反应的识别性能,宏平均F₁值为82.2%。