基于主题注意力层次记忆网络的文档情感建模

针对文档水平情感分析传统模型存在先验知识依赖以及语义理解不足问题,提出一种基于注意力机制与层次网络特征表示的情感分析模型TWE-ANN.采用基于CBOW方式的word2vec模型针对语料训练词向量,减小词向量间的稀疏度,使用基于Gibbs采样的LDA算法计算出文档主题分布矩阵,继而通过层次LSTM神经网络获取更为完整的文本上下文信息从而提取出深度情感特征,将文档主题分布矩阵作为模型注意力机制提取文档特征,从而实现情感分类.实验结果表明:提出的TWE-ANN模型较TSA、HAN模型分类效果较好,在Yelp2015、IMDB、Amazon数据集上的F值分别提升了1.1%、0.3%、1.8%,在Yelp2015和Amazon数据集上的RMSE值分别提升了1.3%、2.1%.     

注意力缺陷多动障碍儿童神经反馈治疗前后 脑电信号相位同步分析

本研究比较theta/beta神经反馈治疗前后ADHD儿童脑电相位同步的改变,分析不同脑区脑电相位耦合情况。研究数据为神经反馈前后16例ADHD儿童和16例健康儿童闭眼静息态脑电,计算theta和beta频段左右半球中心区与各脑区相位同步。研究结果表明,神经反馈治疗后左右半球中心区与前额叶、左颞中叶的theta频段相位同步显著降低,与右半球颞叶的相位同步显著增加;beta频段额叶、中心区、顶叶和枕叶的相位同步性显著增加,左颞中叶相位同步性降低,右颞叶相位同步性增加,并趋向健康儿童水平。神经反馈训练对脑电相位同步有积极的影响,相位同步分析法结合ADHD临床量表将更加充分、准确地评估ADHD神经反馈治疗效果。     

基于Attention机制的链接预测算法

针对社会网络中链接预测问题,提出了基于注意力(Attention)机制的链接表示及其预测算法.基于待预测节点的共邻关系构建其链接局部网络,设计了基于紧密游走的网络拓扑序列化方法.采用双向循环神经网络(Bi-RNN)对链接序列进行向量编码,以充分挖掘序列相关节点间的上下文依赖信息.通过Attention机制对链接中的节点进行关注和加权,强化重要节点对链接预测任务的贡献,实现链接拓扑特征的自动提取与准确分类预测.实验结果表明,在4种不同类型的社会网络数据集中,该算法的准确率和运算效率都有较大提高且普适性较强.     

基于深度学习的网络流量分类识别研究

目前互联网上会存在海量的网络流量数据信息,这些海量的网络流量数据信息还未得到充分性的利用,如果有效的采取一些必要的方法或者手段,分析整个的网络流量挖掘信息对于后期的网络发展趋势,挖掘网络当中所存在的异常状态并且有采取针对性的措施,这对于后期的网络应急响应能力的增强、抵御网络不法攻击行为、快速的维护网络空间安全等方面都具有非常重大的价值及意义.本文基于网络流量识别的基本需求,分析了深度学习经典模型-CNN的基本原理,在此基础上将原始流量进行分层处理,并建立了基于注意力机制的改进的CNN算法的网络流量识别模型,最后在国际标准数据集上进行仿真分析.实验测试结果表明,该模型可以实现对各类网络流量有效识别.     

基于全局注意力引导的肺结节分割方法

肺结节的精确分割能有效地辅助医生的治疗诊断工作,但由于不同患者所呈现的肺结节病灶形式多种多样,基于传统专家系统和统计学习的方法难以获得准确的肺结节分割结果。针对这种情况,提出一种由全局注意力引导的注意力机制,达到了从一张完整的胸部影像切片中自动定位并分割出肺结节的效果。该方法首先对目标区域进行肺实质分割,再利用区域建议网络（region proposal network,RPN）进一步缩小感兴趣区域,并生成注意力权重图,最后使用融合了残差网络（residual network,ResNet）与卷积长短期记忆网络（convolutional long short-term memory,ConvLSTM）的结构结合注意力权重进行肺结节分割。将所提方法在肺图像数据库联盟（lung image database consortium,LIDC-IDRI）数据集上进行了全面的评估,结果表明,本文方法分割结果的平均dice得分（标准差）为89.97%（8.9%）,具有出色的分割性能,精度相较其他方法取得一定提升。进一步在相同数据集上将所提方法的肺结节分割结果与4位放射科医生的手工标注结果进行了比较,结果表明本文方法的分割结果与医生们的标注结果的一致性达到了85.81%,相较于医生们手工标注之间的一致性高出了3.39%。     

基于双维注意力机制的事件要素识别方法

事件要素识别是事件抽取的基本任务,对后续任务的开展起着重要作用.随着深度学习技术的发展,神经网络逐渐成为事件要素识别的主流方法.近几年,注意力机制在自然语言处理领域得到广泛使用,但注意力机制依赖于嵌入层对上下文特征的提取,在事件要素识别等序列标注问题中效果不理想.针对这一问题,提出了一种基于注意力机制的双维注意力机制,从矩阵行和列两个维度计算注意力得分,因此可以较好地提取句子的上下文特征,并且使用了动态目标损失函数,通过动态给予不同标签不同的权重,一定程度上缓解了样本不平衡和数据稀疏带来的模型泛化不足问题.在CEC2.0中文突发事件语料库上对比实验表明,所提方法取得较好效果.     

注意力机制下的EMD-GRU短期电力负荷预测

为进一步提高短期电力负荷预测精度,构建一种基于注意力机制的经验模态分解(EMD)和门控循环单元(GRU)混合模型,对时间序列的短期负荷进行预测.首先,对负荷序列进行EMD,将数据重构成多个分量;再通过GRU提取各分量中时序数据的潜藏特征;经注意力机制突出关键特征后,分别对各分量进行预测;最后,将各分量的预测结果叠加,得到最终预测值.仿真结果表明:相对于BP网络模型、支持向量机(SVR)模型、GRU网络模型和EMD-GRU模型,基于EMD-GRU-Attention的混合预测模型能取得更高的预测精度,有效地提高短期电力负荷预测精度.     

基于Transformer神经网络模型的网络入侵检测方法

网络入侵检测一直以来都是网络安全中亟待解决的关键任务之一,传统网络入侵检测方法主要通过提取多维特征,采用机器学习方法构建检测模型,大多忽略了入侵行为的时间相关性.通过提取网络入侵行为的时序特征,设计基于降维特征的多头自注意力机制Transformer网络模型,以解决传统串行化时序神经网络模型不易收敛且时间开销较大的问题,通过选取最优的损失函数和训练参数进行并行化训练,实现网络入侵行为检测.实验结果表明,基于Transformer网络模型的网络入侵检测方法在多个数据集上均获得了99％以上的精度和检出率.     

"十四五"时期地方政府科技创新注意力配置和资源布局研究——基于30个省市"十四五"规划及远景目标文本分析

我国把科技自立自强作为国家发展的战略支撑,并将"四个面向"创新驱动提到前所未有高度.基于有限理性决策者注意力稀缺性理论,选取30个省市《国民经济和社会发展第十四个五年规划和二○三五年远景目标建议》文本作为研究对象,研究各地方政府"十四五"时期对科技创新的注意力分配强度、政府资源布局重点及政策工具选择差异性.结果 发现:"十四五"时期安徽省给予科技创新注意力最高,江苏省、海南省、山西省根据省情和资源禀赋异质性对科技创新注意力聚焦领域有所侧重;中部地区未来对于科技创新关注度较高,并没有证实经济发展水平较高的地区未来对科技创新给予了较高的注意力;有14个省市未来科技创新目标明确提出创新型省份建设,其中以中部地区和西部地区居多,科技创新注意力的分配与科技创新目标的设置和明确性具有显著的正向相关关系;"十四五"时期各地方政府选择的共性科技创新政策工具是科技成果转化、关键核心技术突破、完善科技体制机制和增加研发费用投入,各地区仍其他它个性化的科技创新政策工具选择和资源布局重点.     

融合金字塔切分注意力模块的视杯视盘分割

视杯和视盘的垂直直径比是青光眼在临床诊断中的重要指标,为了更加准确地测量杯盘比,针对视网膜眼底图像中的视盘和视杯分割精度的问题,提出了一个改进后的端到端的U型卷积神经网络框架,采用Resnet 34作为新的编码部分,并在每一个编码层的末端引入金字塔切分注意力PSA模块以提取更多的有效特征信息。同时使用1×1卷积代替3×3卷积来简化解码结构,并且使用一个3×3卷积与一个通过跳跃连接的1×1卷积结构取代跳跃连接。该网络模型在内部数据集上完成训练后,在DRISHTI-GS数据集进行测试,对视盘和视杯的分割结果在Dice和IOU上分别表现为97.61%和95.32%,92.91%和86.75%,证明了该模型具有良好的泛化性。