基于自注意力机制的冗长商品名称精简方法

大部分电子商务网站为了吸引用户的关注,通常将商品的很多属性也纳入到商品名称中,使得商品名称中包括了冗余的信息,并产生不一致性.为解决这一的问题,提出了一个基于自注意力机制的商品名称精简模型,并针对自注意力机制网络无法直接捕捉商品名称序列特征的问题,利用门控循环单元的时序特性对自注意力机制进行了时序增强,以较小的计算代价换取了商品命名精简任务整体性能的提升.在公开商品短标题数据集LESD4EC的基础上,构造了商品名称精简数据集LESD4EC_L和LESD4EC_S,并进行了模型验证.一系列的实验结果表明本,所提出的自注意力机制冗长商品名称精简方法相对于其他商品名称精简方法在效果上有较大的提升.     

注意力缺陷多动障碍儿童神经反馈治疗前后 脑电信号相位同步分析

本研究比较theta/beta神经反馈治疗前后ADHD儿童脑电相位同步的改变,分析不同脑区脑电相位耦合情况。研究数据为神经反馈前后16例ADHD儿童和16例健康儿童闭眼静息态脑电,计算theta和beta频段左右半球中心区与各脑区相位同步。研究结果表明,神经反馈治疗后左右半球中心区与前额叶、左颞中叶的theta频段相位同步显著降低,与右半球颞叶的相位同步显著增加;beta频段额叶、中心区、顶叶和枕叶的相位同步性显著增加,左颞中叶相位同步性降低,右颞叶相位同步性增加,并趋向健康儿童水平。神经反馈训练对脑电相位同步有积极的影响,相位同步分析法结合ADHD临床量表将更加充分、准确地评估ADHD神经反馈治疗效果。     

基于深度学习的网络流量分类识别研究

目前互联网上会存在海量的网络流量数据信息,这些海量的网络流量数据信息还未得到充分性的利用,如果有效的采取一些必要的方法或者手段,分析整个的网络流量挖掘信息对于后期的网络发展趋势,挖掘网络当中所存在的异常状态并且有采取针对性的措施,这对于后期的网络应急响应能力的增强、抵御网络不法攻击行为、快速的维护网络空间安全等方面都具有非常重大的价值及意义.本文基于网络流量识别的基本需求,分析了深度学习经典模型-CNN的基本原理,在此基础上将原始流量进行分层处理,并建立了基于注意力机制的改进的CNN算法的网络流量识别模型,最后在国际标准数据集上进行仿真分析.实验测试结果表明,该模型可以实现对各类网络流量有效识别.     

基于全局注意力引导的肺结节分割方法

肺结节的精确分割能有效地辅助医生的治疗诊断工作,但由于不同患者所呈现的肺结节病灶形式多种多样,基于传统专家系统和统计学习的方法难以获得准确的肺结节分割结果。针对这种情况,提出一种由全局注意力引导的注意力机制,达到了从一张完整的胸部影像切片中自动定位并分割出肺结节的效果。该方法首先对目标区域进行肺实质分割,再利用区域建议网络（region proposal network,RPN）进一步缩小感兴趣区域,并生成注意力权重图,最后使用融合了残差网络（residual network,ResNet）与卷积长短期记忆网络（convolutional long short-term memory,ConvLSTM）的结构结合注意力权重进行肺结节分割。将所提方法在肺图像数据库联盟（lung image database consortium,LIDC-IDRI）数据集上进行了全面的评估,结果表明,本文方法分割结果的平均dice得分（标准差）为89.97%（8.9%）,具有出色的分割性能,精度相较其他方法取得一定提升。进一步在相同数据集上将所提方法的肺结节分割结果与4位放射科医生的手工标注结果进行了比较,结果表明本文方法的分割结果与医生们的标注结果的一致性达到了85.81%,相较于医生们手工标注之间的一致性高出了3.39%。     

基于双维注意力机制的事件要素识别方法

事件要素识别是事件抽取的基本任务,对后续任务的开展起着重要作用.随着深度学习技术的发展,神经网络逐渐成为事件要素识别的主流方法.近几年,注意力机制在自然语言处理领域得到广泛使用,但注意力机制依赖于嵌入层对上下文特征的提取,在事件要素识别等序列标注问题中效果不理想.针对这一问题,提出了一种基于注意力机制的双维注意力机制,从矩阵行和列两个维度计算注意力得分,因此可以较好地提取句子的上下文特征,并且使用了动态目标损失函数,通过动态给予不同标签不同的权重,一定程度上缓解了样本不平衡和数据稀疏带来的模型泛化不足问题.在CEC2.0中文突发事件语料库上对比实验表明,所提方法取得较好效果.     

注意力机制下的EMD-GRU短期电力负荷预测

为进一步提高短期电力负荷预测精度,构建一种基于注意力机制的经验模态分解(EMD)和门控循环单元(GRU)混合模型,对时间序列的短期负荷进行预测.首先,对负荷序列进行EMD,将数据重构成多个分量;再通过GRU提取各分量中时序数据的潜藏特征;经注意力机制突出关键特征后,分别对各分量进行预测;最后,将各分量的预测结果叠加,得到最终预测值.仿真结果表明:相对于BP网络模型、支持向量机(SVR)模型、GRU网络模型和EMD-GRU模型,基于EMD-GRU-Attention的混合预测模型能取得更高的预测精度,有效地提高短期电力负荷预测精度.     

基于Transformer神经网络模型的网络入侵检测方法

网络入侵检测一直以来都是网络安全中亟待解决的关键任务之一,传统网络入侵检测方法主要通过提取多维特征,采用机器学习方法构建检测模型,大多忽略了入侵行为的时间相关性.通过提取网络入侵行为的时序特征,设计基于降维特征的多头自注意力机制Transformer网络模型,以解决传统串行化时序神经网络模型不易收敛且时间开销较大的问题,通过选取最优的损失函数和训练参数进行并行化训练,实现网络入侵行为检测.实验结果表明,基于Transformer网络模型的网络入侵检测方法在多个数据集上均获得了99％以上的精度和检出率.     

"十四五"时期地方政府科技创新注意力配置和资源布局研究——基于30个省市"十四五"规划及远景目标文本分析

我国把科技自立自强作为国家发展的战略支撑,并将"四个面向"创新驱动提到前所未有高度.基于有限理性决策者注意力稀缺性理论,选取30个省市《国民经济和社会发展第十四个五年规划和二○三五年远景目标建议》文本作为研究对象,研究各地方政府"十四五"时期对科技创新的注意力分配强度、政府资源布局重点及政策工具选择差异性.结果 发现:"十四五"时期安徽省给予科技创新注意力最高,江苏省、海南省、山西省根据省情和资源禀赋异质性对科技创新注意力聚焦领域有所侧重;中部地区未来对于科技创新关注度较高,并没有证实经济发展水平较高的地区未来对科技创新给予了较高的注意力;有14个省市未来科技创新目标明确提出创新型省份建设,其中以中部地区和西部地区居多,科技创新注意力的分配与科技创新目标的设置和明确性具有显著的正向相关关系;"十四五"时期各地方政府选择的共性科技创新政策工具是科技成果转化、关键核心技术突破、完善科技体制机制和增加研发费用投入,各地区仍其他它个性化的科技创新政策工具选择和资源布局重点.     

融合金字塔切分注意力模块的视杯视盘分割

视杯和视盘的垂直直径比是青光眼在临床诊断中的重要指标,为了更加准确地测量杯盘比,针对视网膜眼底图像中的视盘和视杯分割精度的问题,提出了一个改进后的端到端的U型卷积神经网络框架,采用Resnet 34作为新的编码部分,并在每一个编码层的末端引入金字塔切分注意力PSA模块以提取更多的有效特征信息。同时使用1×1卷积代替3×3卷积来简化解码结构,并且使用一个3×3卷积与一个通过跳跃连接的1×1卷积结构取代跳跃连接。该网络模型在内部数据集上完成训练后,在DRISHTI-GS数据集进行测试,对视盘和视杯的分割结果在Dice和IOU上分别表现为97.61%和95.32%,92.91%和86.75%,证明了该模型具有良好的泛化性。     

基于seq2seq模型的标签推荐方法

针对NPM平台上存在大量的软件包没有标签或标记不完善的问题, 提出一种基于seq2seq模型的深度学习方法为软件包推荐标签. 首先, 利用ECMAScript工具分析软件包的源码构建出包的函数调用图, 遍历函数调用图从而将软件包转换成一组具有包语义信息的函数调用序列; 其次, 训练seq2seq模型, 并将训练好的模型用于软件包的标签推荐工作, 该模型能将包的函数调用序列映射到一组预测的标签序列上, 从而完成软件包的标签推荐. 实验结果表明, 该方法能为软件包推荐一组合理的标签, 准确率达82.6%.