集成局部和全局关键特征的文本情感分类方法

融合卷积神经网络(convolutional neural network,CNN)和双向长短期记忆网络(Bi-directional long short-term memory,BiLSTM)的情感分析模型(CNN_BiLSTM)是一个流行的模型,其学习文本的局部特征和全局特征实现情感分类,但是忽略了特征对分类结果的重要程度,且没充分利用词语间的特征,导致分类准确率不高.提出一种集成基于多卷积核的卷积神经网络和注意力双向长短期记忆网络特征的文本情感分类方法(MCNN_Att-BiLSTM),其集成局部和全局的重要特征作为文本语义特征,该特征进而用于训练文本情感分类器XGBoost(eXtreme gradient Boosting).该方法基于注意力机制的BiLSTM提取对分类影响大的全局关键特征,基于多卷积核的CNN获得更全面的词语间特征,为集成分类器准备了有效分类的特征.实验结果表明,该模型具有更好的情感分类准确率,与CNN_BiLSTM模型相比,在IMDB数据集上准确率提升了1.75%,在txt-sentoken数据集上准确率提升了1.67%,在谭松波-酒店评论数据集上准确率提升了3.81%.     

变步长BLSTM集成学习股票预测

提出采用变步长双向长短期记忆网络(BLSTM)集成学习方法学习历史数据中股票价格变动的规律.针对股票涨跌变化的预测改进均方误差(MSE)损失函数,采用简易的模拟交易盈利评价指标以更好地度量预测模型在金融市场中的期望表现.通过前10～50步长的数据训练BLSTM,预测下1min各股票的涨跌变化.实验结果验证了不同数据预处理下,改进损失函数的有效性及变步长集成方法相对于单一网络的有效性.     

基于知识蒸馏的不平衡数据下入侵检测方法研究

基于深度学习的网络入侵检测模型面临模型结构复杂、部署效率低及流量数据类别不平衡的问题.针对这些问题,提出了1种结合知识蒸馏和类别权重焦点损失的网络入侵检测方法.该方法以精度高、参数量较多的入侵检测模型作为教师模型,与小型学生模型生成蒸馏损失;引入增加类别权重的焦点损失函数作为学生损失;结合蒸馏损失与学生损失生成总的损失函数优化学生模型.实验结果表明,该方法性能相较于非蒸馏模型在各项指标上均有一定提升.     

一种基于特征偏移补偿的深度智能化教学评价方法

针对慕课(MOOC)评论中存在少数类特征偏移的问题, 提出一种基于特征偏移补偿的深度智能化教学评价方法. 该方法首先使用Glove预训练模型获取MOOC评论的分布式词向量; 然后采用浅层卷积神经网络, 通过多个卷积核学习教学评价的语义, 引入不同类别评论的数量设计影响因子, 归一化该影响因子并应用到交叉熵损失函数中; 最后基于Coursera平台的本科学生教学评论数据集, 通过与其他损失函数在F₁,gmean,balance,gmeasure等评价指标上进行性能对比实验. 实验结果表明, 基于归一法的特征偏移补偿损失函数在gmeasure指标上比基类损失函数得到了最多15.40%的性能提升, 并且采用该损失函数的分类模型也表现出较强的稳定性.     

基于深度学习的地铁短时客流量预测

为了对地铁短时客流流量进行准确预测,建立了一种基于深度学习的地铁短时客流预测方法。通过分析地铁的客流数据,发现周一至周四、周五以及周末的发展模式存在一定的差异。依据该发现,基于深度学习的理论框架,建立了双向长短期记忆网络的地铁短时客流量预测模型。最后以广州体育西路地铁站数据为例进行预测分析,并将预测结果与决策树模型、支持向量机算法以及长短期记忆网络的预测结果进行对比分析。结果表明,双向长短期记忆网络全面优于其他预测算法,且该算法的平均预测精度超过90%,对地铁运力的合理配置等有一定的应用价值。     

基于注意力机制和双向长短期记忆网络的电能质量扰动识别

提出一种基于深度学习的电能质量扰动信号分类新方法。该方法应用注意力机制和双向长短期记忆网络构建分类模型,并利用Matlab仿真产生训练数据集与验证数据集。考虑了7种常见的复合扰动信号,并将其作为序列数据直接输入到网络中进行训练和验证。实验结果表明,本方法能准确地识别不同的扰动信号,在验证集上模型的识别准确率可以达到99.7%。通过对比实验发现,应用注意力机制和双向长短期记忆网络的模型的识别能力要优于支持向量机和多层感知机等传统机器学习算法。     

Senti-LSTM:一个基于递归神经网络的情感分析模型

针对文本情感分析中情感极性的问题,提出一种改进型长短期记忆网络模型Senti-LSTM,该模型在现有LSTM网络单元中添加情感门,架构于Senti-LSTM之上的深度神经网络模型充分利用文本上下文信息、文本结构与情感语义等信息,实现更加有效的文本情感表示学习.实验结果表明,Senti-LSTM能够有效提升文本情感分类准确率,同时具有较强的鲁棒性.     

基于学习者能力的注意力机制知识追踪方法

基于学习者能力，针对基于循环神经网络（RNN）和长短期记忆（LSTM）网络的深度知识追踪（DKT）算法对早期知识点关注的不足，提出一种加入注意力机制的DKT算法，并用时隙聚类的方法对不同能力学习者动态分组并赋予不同的注意力权值，以建立更平衡、更客观的知识记忆程度权重分布模型.常用公开数据集上的实验结果表明：该模型优于2种基准模型和2种消融实验模型，说明所提出的模型能更好地表现学习者的知识状态.     

基于递归长短期记忆网络和镜头序列注意网络的视频摘要生成

为解决基于长短期记忆网络LSTM的视频摘要生成方法当输入序列过长时LSTM网络中的记忆单元不能集中在长时间序列的跨度上。通过深度学习的方法研究了一种基于递归长短期记忆网络(ReLSTM)和序列注意(SSA)的视频摘要生成模型用以提高深度学习网络学习时序特征的能力。该模型使用ReLSTM网络提取时间特征。同时,利用SSA动态调整每个视频序列输入到ReLSTM网络中的特征权重。结果表明：在数据集TVSum上F1-score平均提高2.5%,最高提高0.2%。在数据集SumMe上F1-score平均提高7.8%,最高提高3.4%。可见该方法能有效地学习镜头之间的时序特征。     

基于卷积神经网络-双向长短期记忆网络的人体活动识别方法

针对人体活动传感器数据的时序性特点,以及当前机器学习算法过度依赖手工特征提取的问题,提出了一种融合卷积神经网络和双向长短期记忆网络的深度学习模型（CNN-BiLSTM）进行人体活动识别（HAR）。首先对人体活动数据进行样本分割,然后采用卷积神经网络（CNN）自动提取人体活动数据的特征,再通过双向长短期记忆网络（BiLSTM）学习人体活动数据特征在时间序列上前后两个方向的相关性,最后利用softmax分类器实现对人体活动分类。DaLiAc公开数据集上的仿真实验结果表明,基于CNN-BiLSTM网络的人体活动识别方法对13种人体活动的识别准确率达到了97.7%,与仅具备时间特征学习的LSTM网络和BiLSTM网络相比,具有更好的识别分类效果。     

超短期风电功率预测的混合深度学习模型

针对风电功率预测(WPF)问题,提出一种基于离散小波变换(DWT)、时间卷积网络(TCN)和长短期记忆(LSTM)神经网络的混合深度学习模型(DWT-TCN-LSTM),对超短期风电功率进行预测.将DWT-TCN-LSTM模型分别与差分整合移动平均自回归(ARIMA)模型,支持向量回归(SVR)模型,长短期记忆神经网络模型和卷积长短期记忆(TCN-LSTM)混合模型进行对比实验,通过对称平均绝对百分比误差(SMAPE),均方根误差(RMSE)和平均绝对误差(MAE)3种评价指标值对各个模型进行评价.实验结果表明:DWT-TCN-LSTM模型具有较好的预测性能.     

多尺度卷积循环神经网络的情感分类技术

结合卷积神经网络对于特征提取的优势和循环神经网络的长短时记忆算法的优势,提出一种新的基于多尺度的卷积循环神经网络模型,利用卷积神经网络中的多尺寸滤波器提取出具有丰富上下文关系的词特征,循环神经网络中的长短时记忆算法将提取到的词特征与句子的结构联系起来,从而完成文本情感分类任务.实验结果表明:与多种文本情感分类方法相比,文中算法具有较高的精度.     

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。     

基于熵权法集成异质分类器的窃电检测

针对传统检测模型仅通过单一方法进行窃电检测具有局限性且用电数据中存在类不平衡的问题,从集成学习的角度出发,本文提出一种基于熵权法融合异质分类器的窃电检测模型。首先,通过少数类样本合成过采样技术（synthetic minority oversampling technique,SMOTE）处理用电数据不平衡的问题,其次综合考虑个体分类器之间的多样性以及各自的检测性能和训练机理进行基分类器的优选,最后,引入信息熵的概念,基于各个基分类器分类结果的分散程度,计算其权重占比,并以该权重占比集成各基分类器的输出。实验结果表明,对比传统的窃电检测模型,本文所提模型在多项评价指标下表现较好,具有良好的检测性能。     

融入情感信息词向量的评论文本情感分析方法

为了解决分布式词表示方法因忽略词语情感信息导致情感分类准确率较低的问题,提出了一种融入情感信息加权词向量的情感分析改进方法。依据专属领域情感词典构建方法,结合词典和语义规则,将情感信息融入到TF-IDF算法中,利用Word2vec模型得到加权词向量表示方法,并运用此方法对采集到的河北省旅游景点的评论文本与对照组进行对比实验。结果表明,与基于分布式词向量表示的情感分析方法相比,采用融入情感信息加权词向量的改进方法进行情感分析,积极文本的准确率提高了6.1%,召回率提高了6.6%,F值达到了90.3%;消极评论文本的准确率提高了6.0%,召回率提高了7.2%,F值达到了89.6%。因此,融入情感信息加权词向量的情感分析改进方法可以有效提高评论文本情感分析的准确率,为用户获得更为准确的评论观点提供参考。     

融合情感词典的改进BiLSTM-CNN+Attention情感分类算法

传统机器学习和深度学习模型在处理情感分类任务时会忽略情感特征词的强度,情感语义关系单薄,造成情感分类的精准度不高。本文提出一种融合情感词典的改进型BiLSTM-CNN+Attention情感分类算法。首先,该算法通过融合情感词典优化特征词的权重;其次,利用卷积神经网络(CNN)提取局部特征,利用双向长短时记忆网络(BiLSTM)高效提取上下文语义特征和长距离依赖关系;再结合注意力机制对情感特征加成;最后由Softmax分类器实现文本情感预测。实验结果表明,本文提出的情感分类算法在精确率、召回率和F值上均有较大提升。相较于TextCNN、BiLSTM、LSTM、CNN和随机森林模型,本文方法的F值分别提高2.35%、3.63%、4.36%、2.72%和6.35%。这表明该方法能够充分融合情感特征词的权重,利用上下文语义特征,提高情感分类性能。该方法具有一定的学术价值和应用前景。     

基于BERT的因果关系抽取

针对传统关系抽取模型依赖特征工程等机器学习方法, 存在准确率较低且规则较繁琐等问题, 提出一种BERT+BiLSTM＋CRF方法. 首先使用BERT(bidirectional encoder representations from transformers)对语料进行预训练; 然后利用BERT根据上下文特征动态生成词向量的特点, 将生成的词向量通过双向长短期记忆网络（BiLSTM）编码; 最后输入到条件随机场（CRF）层完成对因果关系的抽取. 实验结果表明, 该模型在SemEval-CE数据集上准确率比BiLSTM+CRF+self-ATT模型提高了0.054 1, 从而提高了深度学习方法在因果关系抽取任务中的性能.     

基于Softmax函数增强卷积神经网络-双向长短期记忆网络框架的交通拥堵预测算法

对交通状态进行预测,就需要准确识别和判断交通状态。该文没有采用传统的以车辆速度为基准的预测方法,而是使用TTI交通拥堵系数,该系数的计算基于道路自身的自由流速度,可以让具有不同速度等级的街道都统一到TTI系数上来作为拥堵评价,因此相较以传统的车辆速度为基准的预测方法更能表现出道路的拥堵状态。该文提出了一种改进的深度学习预测模型（CS-BiLSTM）,该模型基于卷积神经网络（CNN）和双向长短期记忆网络（BiLSTM）,并结合Softmax函数增强CNN提取出的交通空间特征信息。深度学习预测模型（CS-BiLSTM）中的S代表的就是Softmax的缩写。使用成都市出租车GPS数据进行验证,结果表明,所提出的CS-BiLSTM模型具有更高的准确性,其性能相比C-BiLSTM网络预测框架提升了13%。     

加权指数损失下长短时记忆网络换道意图识别模型

针对车道变换意图识别中数据源单一,传统序列模型难以捕获长序列范围内换道意图且存在长期依赖问题,提出一种结合时间信息加权指数损失函数的长短时记忆(long short-term memory,LSTM)车辆换道意图识别模型.首先,利用驾驶模拟舱、眼动仪进行高速公路驾驶实验,采集车辆运行数据和驾驶员眼动数据;然后,基于LSTM结构单元构建高速公路环境下车辆换道意图识别模型,提出基于时间信息加权的指数损失函数对模型权重进行优化;最后,利用车辆运行数据和驾驶员眼动数据对所提模型加以验证并与其他模型进行对比,所提模型换道识别的准确率为91.33％,宏平均精确率为89.04％,宏平均召回率为92.84％,宏平均F1值为90.33％.结果表明,长短时记忆网络对于长序列换道意图识别过程具有较好的分辨能力,提出的损失函数对模型权重优化具有良好的效果.