基于多层次动态门控推理网络的文本蕴含识别

现有的文本蕴含模型通常计算一次词级别注意力得到两段文本在不同层面的交互特征,但对于文本不同层面的理解,不同重要词的注意力应该是不同的,并且一次词级注意力推理仅能捕捉到文本对局部特征.针对这个问题,提出一种多层次动态门控推理网络,该网络结合了词级别信息的细粒度推理和句子级别门控机制来动态捕捉文本对的语义信息,并采用不同注意力计算方式提取文本对不同层面的语义特征,共同推理文本对的蕴含关系.本文在两个文本蕴含数据集上均做了实验,相较于基准模型和现有主流模型,准确率提升了0.4%～1.7%,通过消融分析,进一步验证了本文模型各部分结构的有效性.     

基于注意力机制结合CNN-BiLSTM模型的电子病历文本分类

为了解决中文电子病历文本分类的高维稀疏性、算法模型收敛速度较慢、分类效果不佳等问题,提出了一种基于注意力机制结合CNN-BiLSTM模型的病历文本分类模型。该模型首先使用word2vec工具进行词向量表示,利用多层卷积神经网络(convolutional neural networks, CNN)结构提取病历文本的局部特征,通过拼接操作丰富局部特征表示,再利用双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)提取上下文的语义关联信息,获取句子级别的高层特征表达。最后通过Attention机制进行特征加权,降低噪声特征的影响,并输入softmax层进行分类。在多组对比实验的实验结果表明,该模型取得了97.85%的F₁,有效地提升了文本分类的效果。     

基于注意力机制的文本挖掘深度混合推荐模型

当前,从海量的互联网信息中获取满足用户需求的视频资源变得越来越困难,用户面临严重的信息焦虑和信息过载问题,然而各种辅助信息中蕴含着大量的与用户兴趣偏好及项目特征相关的信息并没有在经典推荐系统中得到利用.鉴于深度学习在特征提取和注意力机制在特征选择方面的突出表现,充分有效利用各种辅助信息缓解矛盾是当前研究的热点和难点问题.针对以上问题,该文提出了一种新颖的利用文本上下文信息的深度混合推荐方法.该方法将视频标题和视频简介组合,经过预训练的词嵌入模型Glove转化为词向量,通过融合多头注意力机制的卷积神经网络提取项目潜藏因子,再结合概率矩阵分解实现用户对视频资源的评分预测.在ML-100k、ML-1m、ML-10m、Amazon四个公开数据集上的实验结果表明,该研究提出的方法结果优于PMF、CDL、ConvMF等基线模型.     

基于卷积神经网络和自注意力机制的文本分类模型

单词级别的浅层卷积神经网络(CNN)模型在文本分类任务上取得了良好的表现.然而,浅层CNN模型由于无法捕捉长距离依赖关系,影响了模型在文本分类任务上的效果.简单地加深模型层数并不能提升模型的效果.本文提出一种新的单词级别的文本分类模型Word-CNN-Att,该模型使用CNN捕捉局部特征和位置信息,利用自注意力机制捕捉长距离依赖.在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo! Answers等5个公开的数据集上,Word-CNN-Att比单词级别的浅层CNN模型的准确率分别提高了0.9%、0.2%、0.5%、2.1%、2.0%.     

基于CNN-ATTBiLSTM的文本情感分析

卷积神经网络(CNN)和循环神经网络(RNN)已经被证明在文本情感分析中是有效的文本表示模型。然而,CNN只考虑连续词之间的局部信息,忽略了词语之间长距离的上下文依赖信息,在前向传播的过程中池化操作会丢失一部分语义信息; RNN在文本长度较短的情况下相比CNN并没有展现应有的优势。本文通过融合CNN和基于注意力机制的双向长短期记忆(ATTBiLSTM)网络提取的特征,提高模型的文本表示能力,同时为了防止过拟合,采取dropout策略。在中科院谭松波博士整理的酒店评论数据集上进行实验,结果表明本文提出的模型相比基线模型可以提取出更丰富的特征,效果较基线模型有所提升。     

联合BiLSTM和CNN的评论文本情感分类模型

现有的基于神经网络的评论文本分析方法大多数只关注评论的文本信息,而忽略了用户特征和产品特征在确定评论文本情感中的作用.本文提出基于神经网络的模型,采用BiLSTM与CNN结合的方法,把用户特征和产品特征考虑进来,以充分利用用户特征和产品特征进行情感分析.首先,BiLSTM对文本进行单词级语义编码,在BiLSTM输出层引...     

一种轻量级多模态车辆轨迹预测算法

针对自动驾驶汽车车载嵌入式计算平台存储和计算资源有限、车辆未来轨迹具有不确定性、周围环境信息复杂多变的问题,提出了一种基于MobileNeXt搭建的轻量级多模态车辆轨迹预测算法(CAM-MobileNeXt)。首先,利用MobileNeXt轻量级框架,构建了参数量和计算量均较少的车辆轨迹预测模型;其次,通过将单模态轨迹预测调整为多模态轨迹预测,以预测目标车辆可能存在的多条未来轨迹;最后,引入注意力机制,使其具备从众多输入信息中筛选出重要信息的能力,从而高效分配有限的存储和计算资源。在L5级别自动驾驶车辆轨迹数据集Lyft上开展轨迹预测实验,结果表明：所提算法具备较低的参数量和计算量,预测性能优于Lyft基线方法ResNet50;与MobileNeXt相比,所提算法在Lyft数据集上的损失值降低了11.9%,最终位移误差降低了7.4%,平均位移误差降低了11.4%。所提算法适合部署在自动驾驶汽车的车载嵌入式计算平台上,在对自动驾驶汽车的周围车辆进行准确多模态轨迹预测,以保证自动驾驶汽车安全行驶方面具有良好的应用前景。     

基于神经网络模型的文本分类研究综述

文本分类是自然语言处理与理解当中重要的一个研究内容,在文本信息处理过程中有关键作用.目前深度学习已经在图像识别、机器翻译等领域取得了突破性的进展,而且它也被证明在自然语言处理任务中拥有着提取句子或文本更高层次表示的能力,也备受自然语言处理研究人员的关注.文章以基于深度学习的文本分类技术为研究背景,介绍了几种基于深度学习神经网络模型的文本分类方法,并对其进行分析.     

基于卷积神经网络的中文新闻文本分类

经典的卷积神经网络文本分类模型仅仅着眼于全局特征,没有考虑到局部特征.为了解决此问题,引入了注意力机制,用于提取文本中的关键词,把全局特征与局部特征综合在一起,使得文本的特征表达更加丰富.实验结果表明:卷积神经网络分类模型比传统的机器学习方法分类效果更好,而引入注意力机制后的卷积神经网络模型相比于经典的文本分类模型,分类效果也有了一定程度的提高.     

一种基于深度学习的中文文本特征提取与分类方法

提出了一种基于卷积循环神经网络的文本特征提取方法,同时对比使用统计学中的TF-IDF以及Word2vec方法的文本特征表示,将提取的特征分别放入SVM与随机森林分类器中对来源于中国知网的中文学术论文数据集进行分类。实验结果表明,使用卷积神经网络和卷积循环神经网络特征提取模型提取的特征所取得的分类效果比TF-IDF、Word2vec特征提取方法得到的分类效果更好,同时使用SVM和随机森林分类器取得的分类效果略好于原生的神经网络。     

基于CNN-LSTM-AM的短时交通流量预测

短时交通流量预测对于提高实时交通数据信息的精准性及增加车辆道路行驶的效益性具有重要意义.为能准确预测未来短期交通流量情况,支持智能交通系统的应用和决策,提出一种基于CNN-LSTM-AM的短时交通流量预测模型.首先利用卷积神经网络(convolutional neural network,CNN)来对交通流序列进行信息捕捉,从而提取交通流数据的动态变化特征;其次将所提取的特征向量构成时间序列作为长短期记忆(long short-term memory,LSTM)网络的输入;最后根据注意力机制(attention mechanism,AM)来分配LSTM隐含层不同权重,增强重要特征的作用,完成交通流量预测.采用美国加利福尼亚州高速路网数据库PeMS里面的相关数据信息,通过实验与其他神经网络预测模型进行对比,结果显示,CNN-LSTM-AM模型的相对平均误差(mean absolute percentage error,MAPE)值为0.254 578％,R2=0.583 152,预测能力优于其他对比模型.其所用方法可以对未来短时交通流量预测提供一种思路模型.     

制约门原理研究

制约门是基于制约逻辑的内涵智能机的核心元件,它根本区别于以往的外延计算机硬件与和非,输入和输出之间不是真值函数关系,本文综合制约逻辑,耗散结构论,协同论,非线性数学等理论提出实施制约门的原理,制约门的数学证明借鉴了协同论从被支配模推算出序参量方法。     

结合改进的DCGAN和Attention-LSTM的光伏功率预测

针对新建光伏发电站在光伏功率预测过程中由于缺少训练数据导致预测精度较低以及光伏发电功率的不稳定等问题,本文提出一种结合改进的深度卷积生成对抗网络（DCGAN)、 注意力机制（Attention）和LSTM网络组合的光伏功率预测方法。首先,将DCGAN中生成器的特征提取网络由二维卷积改为一维卷积,更好的学习一维时序数据,并用改进的DCGAN对光伏数据进行扩充,其次,采用Attention模块和LSTM模型相结合,先通过Attention模块提高重要特征的权重占比,生成新的输入特征,再通过LSTM模型进行功率预测。采用澳大利亚沙漠知识太阳能中心(DKASC)Alice Springs电站的数据进行验证,实验结果表明,结合深层卷积生成对抗网络与Attention-LSTM的混合预测方法能有效提升预测的精度。     

蕴涵和预设的理论基础和实际运用

蕴涵是用来描述句子命题之间的真值概念。预设是推理过程中必须认定的前提。预设有语义预设和语用预设。预设的性质或归结为衍推或归结为含义。蕴涵和预设理论有赖于语义学、逻辑学、句法学、语用学共同发展;加深对蕴涵和预设理论的认识,有助于这些学科进一步发展。蕴涵和预设理论既丰富又深化我们对自然语言语料的认识,自然语言语料又能推动蕴涵和预设理论进一步发展。     

基于深度学习的城市区域短时交通拥堵预测算法

城市的交通拥堵已经成为了各个城市中的普遍现象,严重影响了城市日常交通以及人们的出行。针对城市区域交通流的研究与分析,本文为了准确的对城市交通状态进行预测,通过网格划分的方法,把城市区域划分为多个区域,根据城市交通数据流的时空特征,提出了一种基于深度学习的城市交通拥堵预测模型（CS-Transformer）。该模型通过使用卷积神经网络(CNN)提取基于网格划分的城市区域交通数据的空间特征,然后采用全连接神经网络增强模型的表达能力,再通过相似性位置编码机制(SPEM)把位置信息加入交通数据中,最后运用Transformer网络捕捉交通数据的时间依赖特征。用成都市出租车GPS数据对模型进行验证,结果表明该模型预测结果优于卷积神经网络（CNN）、Transformer和CNN-Transformer等模型,以均方误差（MSE）为评价指标,将测试集中交通路网的平均预测精度分别提高了 19.6%、26.3%和10%。     

基于双层路由注意力机制的指纹二级特征检测方法

指纹识别是身份认定和同一认定中重要的方法之一,但由于其特征尺寸较小、分布密集并且存在一定的漏检以及误检等问题.针对以上问题,提出了一种基于双层路由注意力机制(bi-level routing attention,BRA)的指纹二级特征检测方法.在Yolov8中嵌入BRA注意力机制、从而减少在指纹特征检测过程中出现的漏检以及误检等问题并实现更灵活的内容感知;调整YOLOv8的网络结构,针对指纹特征添加小尺寸目标检测层.实验结果表明YOLOv8-B网络模型的平均精准度mAP@0.5提升了 4.3％,mAP@0.5∶0.95提升了 8.5％,分别达到98.2％和74.9％.并且检测速度基本保持不变,能够有效地检测指纹的二级特征,降低误检、漏检等问题的发生.     

基于残差和多尺度注意力机制的Retinex低光图像增强算法

针对传统Retinex算法存在的增强图像纹理不清晰、适用光线强度单一等问题,提出了一种基于残差和多尺度注意力机制的Retinex低光图像增强算法.首先使用引入残差模块和跳跃连接的U-Net结构确保模型能完整地提取特征信息,以及将原始图像分解为准确的光照分量和反射分量;然后采用结合多尺度注意力机制的恢复网络对反射分量进行处理,提高网络对退化信息的感知能力和对细节纹理信息的抓取能力;接着使用调整网络增强光照分量的光线强度;最后融合处理后的反射分量与照度分量,得到最终的输出图像.将所提算法与7种同类型算法进行比较,主观结果和客观评价均表明经过所提算法的增强结果在对比度增强、噪声处理、色彩自然度方面取得了优异的表现.实验结果表明,本文中所提方法能有效提高图像对比度、抑制噪声,具有符合人眼观感的视觉表现,且能有效作用于各种光照环境,为下一步的图像处理提供了可靠的信息源.     

制约逻辑 消解原理 人工智能语言

本文在简介制约逻辑的基础上,提出了基于制约逻辑的消解原理,并探讨了基于这一原理的人工智能语言及其机器实现。     

从关联理论的角度看跨文化交际中的语篇信息度

语篇信息度是语篇信息处理理论中的重要概念,在跨文化交际过程中,要求交际双方有效地把握语篇信息度。关联理论中的互明和认知环境两个重要概念可以用来分析跨文化语言交际中语篇信息度的等级调控,而且可以进一步阐释跨文化语境下的语用失误和交际失败现象。