基于多层次动态门控推理网络的文本蕴含识别

现有的文本蕴含模型通常计算一次词级别注意力得到两段文本在不同层面的交互特征,但对于文本不同层面的理解,不同重要词的注意力应该是不同的,并且一次词级注意力推理仅能捕捉到文本对局部特征.针对这个问题,提出一种多层次动态门控推理网络,该网络结合了词级别信息的细粒度推理和句子级别门控机制来动态捕捉文本对的语义信息,并采用不同注意力计算方式提取文本对不同层面的语义特征,共同推理文本对的蕴含关系.本文在两个文本蕴含数据集上均做了实验,相较于基准模型和现有主流模型,准确率提升了0.4%～1.7%,通过消融分析,进一步验证了本文模型各部分结构的有效性.     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks, CNN)结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F₁,有效地提升了文本分类的效果。     

基于卷积神经网络和自注意力机制的文本分类模型

单词级别的浅层卷积神经网络(CNN)模型在文本分类任务上取得了良好的表现.然而,浅层CNN模型由于无法捕捉长距离依赖关系,影响了模型在文本分类任务上的效果.简单地加深模型层数并不能提升模型的效果.本文提出一种新的单词级别的文本分类模型Word-CNN-Att,该模型使用CNN捕捉局部特征和位置信息,利用自注意力机制捕捉长距离依赖.在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo! Answers等5个公开的数据集上,Word-CNN-Att比单词级别的浅层CNN模型的准确率分别提高了0.9%、0.2%、0.5%、2.1%、2.0%.     

基于CNN-ATTBiLSTM的文本情感分析

卷积神经网络(CNN)和循环神经网络(RNN)已经被证明在文本情感分析中是有效的文本表示模型。然而,CNN只考虑连续词之间的局部信息,忽略了词语之间长距离的上下文依赖信息,在前向传播的过程中池化操作会丢失一部分语义信息; RNN在文本长度较短的情况下相比CNN并没有展现应有的优势。本文通过融合CNN和基于注意力机制的双向长短期记忆(ATTBiLSTM)网络提取的特征,提高模型的文本表示能力,同时为了防止过拟合,采取dropout策略。在中科院谭松波博士整理的酒店评论数据集上进行实验,结果表明本文提出的模型相比基线模型可以提取出更丰富的特征,效果较基线模型有所提升。     

基于神经网络模型的文本分类研究综述

文本分类是自然语言处理与理解当中重要的一个研究内容,在文本信息处理过程中有关键作用.目前深度学习已经在图像识别、机器翻译等领域取得了突破性的进展,而且它也被证明在自然语言处理任务中拥有着提取句子或文本更高层次表示的能力,也备受自然语言处理研究人员的关注.文章以基于深度学习的文本分类技术为研究背景,介绍了几种基于深度学习神经网络模型的文本分类方法,并对其进行分析.     

基于卷积神经网络的中文新闻文本分类

经典的卷积神经网络文本分类模型仅仅着眼于全局特征,没有考虑到局部特征.为了解决此问题,引入了注意力机制,用于提取文本中的关键词,把全局特征与局部特征综合在一起,使得文本的特征表达更加丰富.实验结果表明:卷积神经网络分类模型比传统的机器学习方法分类效果更好,而引入注意力机制后的卷积神经网络模型相比于经典的文本分类模型,分类效果也有了一定程度的提高.     

一种基于深度学习的中文文本特征提取与分类方法

提出了一种基于卷积循环神经网络的文本特征提取方法,同时对比使用统计学中的TF-IDF以及Word2vec方法的文本特征表示,将提取的特征分别放入SVM与随机森林分类器中对来源于中国知网的中文学术论文数据集进行分类。实验结果表明,使用卷积神经网络和卷积循环神经网络特征提取模型提取的特征所取得的分类效果比TF-IDF、Word2vec特征提取方法得到的分类效果更好,同时使用SVM和随机森林分类器取得的分类效果略好于原生的神经网络。     

面向番茄病害识别的改进型SqueezeNet轻量级模型

针对番茄病害识别中深度神经网络参数过多、识别精度较低的问题,从网络轻量化和提取特征精准化的角度出发,对SqueezeNet结构进行改进.为精简fire模块,对其中Expand层的卷积核大小、网络层数以及通道数进行调整.同时,将模型与ECA模块结合,利用局部跨通道交互的方式获得各通道的注意力值,强化网络对关键特征的学习能...     

ERNIE-CNN文本分类模型

基于word2vec和BERT词向量技术的方法在文本分类分词过程中存在着错误传播问题,提出了融合ERNIE词向量技术的卷积神经网络模型.针对中文文本,运用ERNIE实体掩码的方式捕获词汇和语义信息,使用卷积神经网络进行特征提取.在THUCNews开源数据集上,准确率达到93.95％,比Word2Vec-CNN高出3.4％,BERT-CNN高出3.07％.实验结果证明了本文模型在缓解错误传播问题的有效性.     

一种新的场景文本识别模型

提出了基于残差网络和注意力机制的LRAM（LSTM with ResNet and attention model）模型,在模型中引入残差模块（ResNet）,加快了网络的收敛速度,降低了网络训练难度;引入注意力机制（AM）,实现了不同序列对当前文本识别的权重分配,提高文本识别的准确率.通过在Synth90K,Street View Text和ICDAR等数据集测试结果,与已存在的模型相比,LRAM性能超过现存其他网络模型.      

基于深度学习的任意形状场景文字识别

场景文字识别的一个具有挑战性的方面是处理具有扭曲或不规则布局的文字.尤其是侧视文字和曲线文字在自然场景中较为常见,且难以识别.本文提出了一个带有灵活矫正功能的注意力增强网络,将其用于任意形状场景文字识别.此网络由基于卷积神经网络的文字矫正网络和基于注意力增强的识别网络两部分组成.矫正网络自适应地将输入图像中的文字进行矫正,降低识别难度,使基于注意力增强的序列识别网络直接根据矫正后的图像预测字符序列.整个模型可以进行端到端的训练,训练只需要图像和相应的文字真实标签.在各种公开数据集上进行了广泛的实验,包括SVT、ICDAR 2003和CUTE80等数据集,验证了此网络具有优异的性能.     

基于RF-WOA-VMD-BiGRU-Attention的神经网络模型在海浪预测中的应用

海上风电场的海况数据极其复杂导致用于海浪高度预测的输入参数极其不稳定,筛选出关键信息,提高输入参数的质量可以极大地提高海浪高度预测的准确性。以乐亭菩提岛风电场近一年的海上数据为基础,构建了一种基于随机森林(random forest, RF)、鲸鱼优化算法(whale optimization algorithm, WOA)、变分模态分解(variational mode decomposition, VMD)和双向门控循环单元(bidirectional gated recurrent unit, BiGRU)的海浪预测模型。该模型利用随机森林对环境特征等输入变量进行筛选,有效减少数据冗余,然后基于WOA-VMD模型自适应确定最优参数和自适应分解原始序列,提高数据质量并消除数据噪声的干扰。此外,针对海浪预测提出了一种基于注意力机制优化的BiGRU算法,随机森林的注意力机制将为BiGRU的隐藏层状态分配不同的权重,加强关键信息的影响。实验结果表明该模型和其他模型对比,输入质量更高,预测精度更高,拟合程度更准确,对风电场海浪预测有着重大意义。     

滚动轴承轻量级深度故障诊断模型

针对现有基于振动信号的诊断模型泛化能力差,而深度学习网络对计算量和存储量要求高的问题,提出轻量级融合密集连接网络与残差神经网络的故障诊断模型.首先,利用格拉姆角场将原始时序信号映射为灰度图像,充分利用二维卷积神经网络的性能;然后,融合密集连接网络和残差神经网络的优点构建融合网络模型,并通过鬼影模块降低其性能消耗,形成轻量级和高识别率的深度网络.实验结果表明,该改进的融合深度学习模型在比传统模型具有更强的鲁棒性和适用性的同时,还拥有极低的浮点运算量与参数量资源占用,证明了该方法在滚动轴承故障诊断领域是有效的、可行的.     

基于示例的中文文本过滤模型

简要描述了文本过滤的背景,提出了基于示例的中文文本过滤模型,其基本思想是首先对于用户提出的示例文本进行文本结构分析,采用文本层次分析方法,提取文本特征,形成主题词表示的用户模板,然后进行文本过滤。     

Recent advances in improving performances of the lightweight complex hydrides Li-Mg-N-H system

A brief review of state-of-the art advances in improving performances of the lightweight complex hydrides Li-Mg-N-H system is reported. Among the hydrogen storage materials, Li-Mg-N-H combination systems are regarded as one of the most potential candidates for the vehicular applications owing to their high hydrogen storage capacity (>5 wt% H) and a more appropriate thermodynamic properties of hydrogen absorption and desorption. In the Li-Mg-N-H systems, tremendous efforts have been devoted to improving the hydrogen storage properties by adjusting composition, revealing reaction mechanisms, adding catalysts and refining the microstructures, etc. During the studies, different mechanisms, such as the coordinated two-molecule or multimolecule reaction mechanism and the ammonia-mediated mechanism, are proposed and applied under some certain conditions. Catalysis and nanosizing are very effective in enhancing the kinetic properties and thermodynamic destabilization of Li-Mg-N-H systems. Due to nano effects, the space-confinement and nanoconfinement seems to be more effective for improving the hydrogen storage performance, and it is great significant to develop hydrogen storage materials by studying the nanoconfined effects on the Li-Mg-N-H systems.     

基于双向长短期记忆网络和标签嵌入的文本分类模型

提出了一种基于双向长短期记忆网络和标签嵌入的文本分类模型。首先利用BERT模型提取句子特征,然后通过BiLSTM和注意力机制得到融合重要上、下文信息的文本表示,最后将标签和词在联合空间学习,利用标签与词之间的兼容性得分对标签和句子表示加权,实现标签信息的双重嵌入,分类器根据给定标签信息对句子进行分类。在5个权威数据集上的实验表明,该方法能有效地提高文本分类性能,具有更好的实用性。     

结合改进的DCGAN和Attention-LSTM的光伏功率预测

针对新建光伏发电站在光伏功率预测过程中由于缺少训练数据导致预测精度较低以及光伏发电功率的不稳定等问题,本文提出一种结合改进的深度卷积生成对抗网络（DCGAN)、 注意力机制（Attention）和LSTM网络组合的光伏功率预测方法。首先,将DCGAN中生成器的特征提取网络由二维卷积改为一维卷积,更好的学习一维时序数据,并用改进的DCGAN对光伏数据进行扩充,其次,采用Attention模块和LSTM模型相结合,先通过Attention模块提高重要特征的权重占比,生成新的输入特征,再通过LSTM模型进行功率预测。采用澳大利亚沙漠知识太阳能中心(DKASC)Alice Springs电站的数据进行验证,实验结果表明,结合深层卷积生成对抗网络与Attention-LSTM的混合预测方法能有效提升预测的精度。     

一种基于联合深度学习模型的情感分类方法

针对情感分析问题中长句和短句进行情感分类时不同的建模特点,提出了一种基于联合深度学习模型的情感分类方法。该方法融合长短期记忆模型(LSTM)与卷积神经网络(CNN)对影视评论数据进行情感极性判别,该方法采用LSTM模型对上下文进行建模,通过逐词迭代得到上下文的特征向量,采用CNN模型从词向量序列中自动发现特征,并从局部抽取特征后将局部特征整合成全局特征来提高分类效果。所提出的方法在COAE2016评测的任务2的情感极性分类任务中,其系统准确率获得最好结果。     

基于轻量化深度学习模型的安全帽检测方法

基于对施工现场管理中安全帽检测重要性的认识,同时考虑工程项目中硬件设施的成本控制等现实问题,提出了一种基于深度学习网络Tiny-YOLO v3的轻量化改进版本LT-YOLO的安全帽检测技术方法。LT-YOLO增加了网络的输出层,并包含一种创新的R-DSC特征提取模块,该模块能够在不改变网络输入与输出大小的前提下,极大地降低模型的复杂度。实验结果表明,LT-YOLO在轻量化效果与检测性能之间取得了优良的平衡,在3.5 M参数量的基础上达到了59.3 mAP(mean average precision)和59.4%Recall。因此LT-YOLO拥有极低的参数量和计算量,对高算力硬件的依赖性低,适用于实际工程管理应用的施工现场安全管理,能够极大地降低企业成本,提升施工安全管理的水平。