基于多头注意力机制的医学文本实体研究

医学文本实体识别过程存在多义性和复杂性等特点,这导致传统的语言处理模型无法有效获取医学文本语义信息,从而影响了医学实体识别效果。本文提出了一种基于全词MASK的医学文本实体识别模型,其能有效处理中文文本。其中,BERT预处理层能够生成表征上下文语义信息的词向量,Bi-LSTM层对输入的词向量进行双向特征信息提取,注意力机制层对输出的特征向量进行权重分配,从而有效获取文本语句中的长距离依赖,最后通过CRF解码以生成实体标签序列。实验结果表明,该模型在中文简历语料库和CCKS2017语料库中表现优异,F1值分别为96.14%和92.68%。     

基于 LibSVM 的 CKSAAP 蛋白特征提取预测水稻蛋白质磷酸化位点

本文从swiss-prot中选取经过试验验证的水稻蛋白质磷酸化位点数据作为训练集合,应用蛋白质序列特征提取方法Composition of k-spaced residues pairs （CKSAAP）,为利用SVM算法构建专门针对水稻蛋白质磷酸化位点的预测工具做准备。 CKSAAP方法利用在序列片断中残基的K个间隔距离的组成,进一步反映了残基之间的相关性。本文利用LibSVM软件包对已通过改进过得CKSAAP方法特征提取出来的数值特征对磷酸化位点进行预测,从而为之后构建水稻蛋白质磷酸化位点的预测工具做准备。结果表明,本文基于SVM和CKSAAP方法的水稻蛋白质磷酸化位点预测在丝氨酸,苏氨酸和酪氨酸的平均预测准确性为80．638％,马修斯系数为0．611。与PlantPhos和Musite的预测性能的对比结果显示,在磷酸化各氨基酸位点的预测性能高于PlantPhos及Musite。     

基于多头注意力的双向LSTM情感分析模型研究

文本情感分析是自然语言处理领域中的重要任务,是指通过提取文本特征对基于文本的情感倾向进行分类。为了有效地提高文本情感分析准确率,提出一种新的基于多头注意力的双向长短期记忆(long short-term memory,LSTM)文本情感分析模型(Multi-Head Attention-based Bi-LSTM Model,MHA-B)。模型先利用双向LSTM进行初步特征提取,再结合多头注意力机制从不同的维度和表示子空间里提取相关的信息。在Large Movie Review Dataset与Semeval-2017-task4-A English两个数据集的实验结果表明:MHA-B模型的情感分析准确率与现有多种模型相比都有所提高。     

基于注意力机制的加密流量识别

随着人们网络安全意识的提高,加密流量呈爆炸式增长,流量加密在保护用户隐私的同时,也为安全检测带来了新的挑战。针对传统基于机器学习的流量识别方法存在需要手动设计分类特征、分类准确率不高等问题,提出一种基于卷积神经网络与自注意力机制(Convolutional Neural Network and Self Attention, CSA)的加密流量分类方法,依据网络流量的层次结构特性,采用卷积神经网络提取数据包内字节流的空间特征、自注意力机制提取数据包之间的时序特征。在公开数据集ISCX VPN-NonVPN上的实验结果表明,CSA模型的分类准确率达到了95.0%,相较基准深度模型,准确率和F1值皆有明显的提升。     

基于RoBERTa和多头注意力的简历命名实体识别方法

针对传统简历实体识别存在一词多义和训练时间长的问题,提出了一种新的简历命名实体识别模型。通过RoBERTa预训练模型获取具有上下文关系的字向量,结合BiGRU和多头注意力机制(Multi-head Attention, MHA)层提取全局信息和局部相关性信息,采用CRF层修正解码确定最终标签,同时裁剪RoBERTa预训练模型。实验表明,该模型在中文电子简历数据集取得95.97%的F₁值,高于其他主流模型,且相较于未剪枝的模型提升0.43%,减少1/5训练时间。     

基于多头注意力机制字词联合的中文命名实体识别

针对现有基于字词联合的中文命名实体识别方法会引入冗余词汇干扰、模型网络结构复杂、难以迁移的问题,提出一种基于多头注意力机制字词联合的中文命名实体识别算法.算法采用多头注意力机制融合词汇边界信息,并通过分类融合BIE词集降低冗余词汇干扰.建立了多头注意力字词联合模型,包含字词匹配、多头注意力、融合等模块.与现有中文命名实体识别方法相比,本算法避免了设计复杂的序列模型,方便与现有基于字的中文命名实体识别模型结合.采用召回率、精确率以及F₁值作为评价指标,通过消融试验验证模型各个部分的效果.结果表明,本算法在MSRA和Weibo数据集上F₁值分别提升0.28、0.69,在Resume数据集上精确率提升0.07.     

基于两阶段注意力机制的立场检测方法

立场检测是分析文本作者对某一话题所表现的立场倾向性是支持、反对还是中立,是舆情分析的重要研究方向。本文针对现有的大部分立场检测方法无法充分建模话题信息,很难联合分析话题与相应文本的现状,提出了一种两阶段注意力机制的立场检测方法。第一阶段利用注意力机制学习话题整体语义表示,第二阶段将话题表示与文本表示进行注意力匹配,进而得到融合特定话题的文本表示向量,最后对该语义表示进行分类。实验结果表明,该模型在新疆反恐话题的语料上Acc和F值指标分别提高了0.4%和1%,在NLPCC-2016立场检测任务数据集的4个话题上取得了较优的效果。     

一种基于注意力机制的语音情感识别算法研究

随着语音识别和自然语言处理技术的成熟,智能语音技术逐步落地到各行各业,但目前智能语音产品缺乏情感的交互,未实现真正的智能。为了提升智能语音产品的拟人性,学术界对语音情感识别的研究热度越来越高,但是多局限在使用传统特征工程以及通用深度学习模型上。在应用深度学习模型的基础上引入注意力机制对语音情感识别展开研究,选用语谱图作为输入特征,并对CNN输出的特征进行通道维度的注意力关注,分析注意力计算过程中不同池化方式对识别结果的影响,并引入残差,提升模型表现力,最终UA实现了2.83%的提升。     

基于注意力机制的水下目标检测算法

针对传统水下目标检测算法识别精度低的问题,提出一种基于注意力机制的水下目标检测算法(feature refinement and attention mechanism network,FRANet).该算法采用特征融合模块和特征增强模块相结合的方式,使用卷积神经网络提取目标的多尺度特征.同时引入一种由锚框精化模块、空...     

基于注意力机制的CNN-LSTM模型的航迹预测

基于数学模型或统计模型的传统航迹预测方法存在一定的局限性，无法满足现代航空领域对于高效、准确、实时的航迹预测需求。针对此问题，提出基于注意力机制的CNN-LSTM模型的实时航迹预测方法。该模型首先使用一维卷积对航迹数据的多维度特征进行提取，从而减少输入特征的数量。其次利用获取的多维度时序数据作为LSTM的输入，通过LSTM提取上下文的信息。最后使用注意力机制为LSTM中不同时序节点的输出赋予权重，达到聚焦关键航迹信息的作用。经过实验验证：本文的模型与LSTM模型和CNN-LSTM模型相比，预测出的路径更接近真实航迹；文中的模型比LSTM模型的平均预测误差降低了29.7%，比CNN-LSTM模型降低了25.4%。综上所述，文中方法可以显著提高航迹预测的精度。     

基于局部信息增强注意力机制的网络流量预测

针对网络流量具有强烈的非线性和不确定性导致传统统计方式或者机器学习方法难以准确预测的问题,为进一步提升网络流量预测精度,在传统时序序列预测模型的基础上设计实现了一种局部上下文信息增强的注意力机制,通过卷积计算将输入转换为注意力机制中的Query和Key,从微观角度对时间序列进行解释,提高了预测模型的局部感知能力。进而将提出的注意力机制分别与长短期记忆人工神经网络和门控循环单元两个时序预测模型相结合并将结合后的模型用于某运营商提供的两个不同网络流量数据集进行网络设备流量预测。实验结果表明基于局部上下文信息增强注意力机制的预测模型具有更好的预测效果。     

基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

基于注意力机制及分层网络的危险驾驶行为预测方法

基于自然驾驶实验,获取“人-车-环境”多维驾驶行为数据,经过数据清洗与筛选构建危险驾驶行为标准数据库。采用显著性分析对指标进行筛选,并构建八维度的危险驾驶行为预测指标集。以神经网络为第一层,以基于注意力机制的长短期记忆（LSTM）网络为第二层,建立危险驾驶行为预测双层时序模型。结果表明：该模型能有效提升预测准确率（10%）;分层结构和注意力机制对预测准确率有较好的提升作用,分别为5%和3%。     

Protein Phosphorylation Site Prediction via Feature Discovery Support Vector Machine

Protein phosphorylation/dephosphorylation is the central mechanism of post-translational modification which regulates cellular responses and phenotypes. Due to the efficiency and resource constraints of the in vivo methods for identifying phosphorylation sites, there is a strong motivation to computationally predict potential phosphorylation sites. In this work, we propose to use a unique set of features to represent the peptides surrounding the amino acid sites of interest and use feature selection support vector machine to predict whether the serine/threonine sites are potentially phosphorylable, as well as selecting important features that may lead to phosphorylation. Experimental results indicate that the new features and the prediction method can more effectively predict protein phosphorylation sites than the existing state of the art methods. The features selected by our prediction model provide biological insights to the in vivo phosphorylation.     

一种基于灰色模型和机理模型集成的质量预测模型及其应用

针对长流程工业过程中产品质量难以实时检测且不易实现优化控制的难题,通过对生产数据特性和质量预测要求的分析,提出了一种基于GM(1,1)灰色模型和机理模型集成的质量预测模型.首先根据过程机理知识建立了粗糙质量预测模型;然后运用灰色预测中的残差辨识理论,用机理预测模型的残差时间序列建立残差GM(1,1)模型,其预测结果补偿机理模型的预测值.验证结果表明,该质量预测模型能获得较理想的质量预测精度,其应用可使产品质量得到显著的提高.     

基于注意力机制和CNN-GRU组合网络的海底电缆运行状态预测方法

海底电缆作为各类海上平台能源供给的生命线,一旦发生故障将产生巨大的经济及战略影响,准确预测海底电缆运行状态有助于提前把握其运行风险,从而实现预防性维护。本文在充分挖掘海底电缆运维数据中的动、静态特征的基础上,提出一种基于注意力机制和卷积神经网络-门控循环神经网络（CNN-GRU）海底电缆运行状态预测方法。首先,考虑在线监测、巡检指标、静态试验三类关键影响因素,建立海底电缆运行状态评估指标体系;然后,基于改进层次分析法及多层次变权评估思想构建海底电缆运行状态评估模型;最后,建立基于注意力机制和CNN-GRU组合神经网络模型,将历史运行参数及状态量化结果作为输入特征参量,实现海底电缆运行状态的演化趋势预测。算例分析表明,所提方法可有效预测海底电缆的运行状态,平均百分数误差低至1.04%,与全连接神经网络、CNN、CNN-长短期记忆神经网络(LSTM)等算法相比均具备更优的预测精度。     

基于Attention机制和ResNet的CNN-BiLSTM短期电力负荷预测模型研究

短期电力负荷预测有利于电力系统的高效运行,对电力市场实现有效调度有重要意义。短期电力负荷受多种因素影响,波动性大、随机性强,使得其预测准确率低。双向长短期记忆网络和卷积神经网络难以在短期负荷序列中提取足够多的信息,本文提出了一种结合注意力机制和残差网络的卷积神经网络-双向长短期记忆网络短期负荷预测方法。首先利用基准模型卷积神经网络-双向长短期记忆网络对输入特征进行信息提取,然后利用注意力机制突出提取到的关键信息,最后通过残差网络创建残差层以充分学习时序特征。通过某公开数据集进行实验,结果表明该方法的平均绝对百分比误差达到2.80%,均方根误差达到2.15,并与常用的五种模型预测结果对比,验证了所提模型的准确性及有效性。     

基于注意力机制的U-Net脑脊液细胞分割

为解决脑脊液病理图像中部分细胞膜较为模糊,与图像背景难以区分的问题,采用了基于注意力机制的U-Net深度学习方法对脑脊液病理图像做全自动分割.在深度学习网络中加入注意力机制对细胞进行定位,抑制无关信息,提高语义的特征表达,提高对细胞整体分割的精确性.通过镜像、旋转等操作对数据集进行扩充预处理.采用VGG16预训练模型进行迁移学习,交叉熵与Dice损失相结合作为损失函数,分别在脑脊液临床图像与公开数据集2018 Data Science Bowl上进行验证;并与Otsu, PSPnet, Segnet, DeeplabV3+, U-Net进行对比,结果表明, 本文方法在各项指标上均优于其他分割方法.