基于关键 $n$-grams 和门控循环神经网络的文本分类模型

提出一种基于关键 $n$-grams 和门控循环神经网络的文本分类模型. 模型采用更为简单高效的池化层替代传统的卷积层来提取关键的 $n$-grams 作为重要语义特征, 同时构建双向门控循环单元(gated recurrent unit, GRU)获取输入文本的全局依赖特征, 最后将两种特征的融合模型应用于文本分类任务. 在多个公开数据集上评估模型的质量, 包括情感分类和主题分类. 与传统模型的实验对比结果表明: 所提出的文本分类模型可有效改进文本分类的性能, 在语料库 20newsgroup 上准确率提高约 1.95%, 在语料库 Rotton Tomatoes 上准确率提高约 1.55%.     

基于图注意力网络和天气权重的短时车速预测

城市道路短时车速预测是智能交通系统中的一个重要组成部分，也是城市道路交通信号灯控制、公交调度、出行线路搜索等具体应用任务的基础.目前这方面的研究热点多是使用图卷积神经网络捕获空间特征，再使用直接的线性拼接方法进行特征处理，在准确度上有不足.针对短时车速预测的高准确性要求，提出一种融合图注意力网络、门控循环单元和天气权重因子的深度学习预测模型（Graph Attention Network Based with Weather Weight,W2-GAT）.其中，图注意力网络利用注意力机制捕获城市道路空间信息，门控循环单元用于提取车速时间特征，重点关注待预测点周边的路面车速情况；在特征处理方面，将天气因素作为可变权重超参数与具体的道路车速特征进行融合，提高预测的准确性.实验结果表明，和现有模型相比，W2-GAT模型预测结果的均方根误差平均降低7.5%，准确率平均提升4%，能够较好地反映实际路面情况下未来短时的车速特征，为具体应用提供数据支撑.     

基于融合Dropout与注意力机制的LSTM-GRU车辆轨迹预测

在智能驾驶环境的车辆轨迹预测环节,为更好地获取环境车辆的轨迹时序特征,在长短期记忆神经网络（LSTM）基础上,嵌入Dropout层以增强网络泛化性,引入注意力机制予以预测效果影响较大的时序数据更大权重从而提高预测结果的可靠性,且将改进的LSTM模型与门控循环单元GRU模型结合,构建LSTM-GRU预测模型以进一步提升环境车辆轨迹预测的准确性.在此基础上,使用NGSIM公开数据集对模型进行训练、验证和测试.研究结果表明,融合了Dropout和注意力机制的LSTM-GRU神经网络轨迹预测模型相较标准的LSTM长短期记忆网络以及GRU门控循环单元,在预测较长时序的车辆轨迹上具有优势,提高了轨迹预测的准确性,降低了实际轨迹和预测轨迹之间的均方根误差和平均绝对误差.     

基于GRU算法的预应力混凝土梁声发射损伤识别

损伤识别是结构损伤演化全过程监控的基础.采集预应力混凝土梁加载破坏全过程的声发射信号,并在自适应去噪的基础上,利用门控循环单元神经网络,实现了预应力混凝土梁破坏阶段的识别.研究结果表明：门控循环单元神经网络可以较好地适配损伤识别任务,在理想状况下,其损伤阶段的识别准确率可逼近96%,但稳定性不佳;通过自适应去噪方法修正后,门控循环单元神经网络可获得高稳定性、高准确率的识别结果;通过去噪数据训练得到的神经网络模型,对带噪信号的损伤识别同样有效,其准确率主要受待测信号中的噪声占比控制.     

基于卷积神经网络和双向门控循环单元网络注意力机制的情感分析

传统的情感分析方法不能获取全局特征,以及否定词、转折词和程度副词的出现影响句子极性判断.在深度学习方法基础上提出了基于卷积神经网络和双向门控循环单元网络注意力机制的短文本情感分析方法.将情感积分引入卷积神经网络,利用情感词自身信息,通过双向门控循环网络模型获取全局特征,对影响句子极性的否定词、转折词和程度副词引入注意力机制实现对这类词的重点关注,提取影响句子极性的重要信息.实验结果表明,该模型与现有相关模型相比,有效提高情感分类的准确率.     

基于Savitzky-Golay滤波的双向门控循环单元神经网络汽轮机热耗率预测

汽轮机热耗率是火电机组运行过程中的一项重要监测指标。为建立更加准确的汽轮机热耗率预测模型,借助某1 000 MW火电机组的真实历史数据,提出一种基于双向门控循环单元(gated recurrent unit,GRU)神经网络的汽轮机热耗率预测模型。针对火电机组现场运行数据噪声大的问题,采用SG(Savitzky-Golay)滤波器对所选变量数据进行降噪处理,将处理后的数据作为建模样本构建双向GRU神经网络汽轮机热耗率预测模型。并将其与BP(back propagation)神经网络、传统循环神经网络等2种算法的模型预测结果进行对比,结果表明:双向GRU神经网络热耗率预测模型的预测精度更高,泛化能力和鲁棒性更强,能够满足现场的实际需求。     

基于深度学习的短文本语义相似度计算模型

基于深度学习的短文本语义相似度度量方法是现代自然语言处理任务的基石，其重要性不言而喻。本文提出一种基于卷积神经网络和双向门控循环单元的文本编码模型，通过卷积层提取重要语义并且通过双向门控循环单元保证语义顺序，采用孪生神经网络结构保证文本编码的一致性。选取传统的卷积神经网络和长短期记忆网络以及BERT模型进行对比验证，在Quora、Sick和MSRP数据集上的验证结果表明，本文模型的精确率和召回率表现优异，且F₁值也优于传统模型。     

基于循环神经网络变体和卷积神经网络的文本分类方法

针对长文本在文本分类时提取语义关键特征难度大,分类效果差等问题,建立基于循环神经网络变体和卷积神经网络(BGRU-CNN)的混合模型,实现中文长文本的准确分类。首先,通过PV-DM模型将文本表示为句向量,并将其作为神经网络的输入;然后,建立BGRU-CNN模型,经双向门控循环单元(B-GRU)实现文本的序列信息表示,利用卷积神经网络(CNN)提取文本的关键特征,通过Softmax分类器实现文本的准确分类;最后,经SogouC和THUCNews中文语料集测试,文本分类准确率分别达到89. 87%和94. 65%。测试结果表明,循环层提取的文本序列特征通过卷积层得到了进一步优化,文本的分类性能得到了提高。     

基于分层注意力循环神经网络的司法案件刑期预测

为了解决刑期预测任务准确率较差的问题,提出一种基于多通道分层注意力循环神经网络的司法案件刑期预测模型.该模型对传统的循环神经网络模型进行了改进,引入了BERT词嵌入、多通道模式和分层注意力机制,将刑期预测转化为文本分类问题.模型采用分层的双向循环神经网络对案件文本进行建模,并通过分层注意力机制在词语级和句子级两个层面捕获不同词语和句子的重要性,最终生成有效表征案件文本的多通道嵌入向量.实验结果表明:对比现有的基于深度学习的刑期预测模型,本文提出的模型具有更高的预测性能.     

基于门控循环单元神经网络的交通流预测模型

针对交通流数据的时间序列关联性特征,在大数据处理技术基础上,构建了基于门控循环单元(GRU)神经网络的交通流预测模型.根据交通流数据产生速度快、数据量大的特征,基于Flink框架并应用Kafka消息队列机制对获取的实时交通流数据进行预处理;基于门控循环单元神经网络,设计了当前时间与上一步时间的隐藏交通流状态;计算了交通流数据的时间序列相关性,从而实现交通流的预测.实验结果表明,基于门控循环单元神经网络的交通流预测模型可有效降低平均绝对误差和均方根误差,提高交通流的预测精度.