短期风力发电负荷预测的新方法

以陆上风力发电负荷数据作为研究对象,将注意力机制引入双向长短期记忆与卷积神经网络（CNN）的混合模型来预测短期电力负荷．结果显示:1）注意力机制通过对不同时步的输入进行加权,能够显著提升双向长短期记忆网络的预测性能;2）双向长短期记忆网络-CNN结构比CNN-双向长短期记忆网络结构更适用于短期负荷预测,前者相较后者能够充分利用时序信息,不会在输入初期就丢失关键信息;3）基于注意力机制的双向长短期记忆网络-CNN混合模型的均方根误差（RMSE）、平均绝对百分比误差（MAPE）分别达到了575.35和7.02%,比次佳模型（基于注意力机制的双向长短期记忆网络-CNN混合模型）分别降低了2.75%和9.65%,其在风电短期负荷预测方面有很好的应用前景．      

基于双路聚类的在线学习行为分析研究

为有效地利用日志文件,更有深度地刻画学习者画像,提出了双路聚类建模方法(Two-way Clustering, TWC),分析挖掘了万余人次学习者在某大学网络教育学院的大量学习行为数据,力图更深刻地展现远程教育学习者的风貌. 考虑到教育数据具有隐含性这一特点,该方法以细粒度数据为核心,通过双角度的聚类计算得到了各学习者在不同模型中的类别,最后基于融合后的模型对学习者进行刻画. 4种经典聚类算法与TWC算法的对比实验结果和TWC算法的聚类结果表明:TWC算法能够增强簇的内聚性,更准确地对学习者进行聚类,从而更深刻、更全面地刻画学习者轮廓.     

融合习题难度和作答经验的深度知识追踪模型

针对现有的深度知识追踪模型缺乏对习题和学生特征信息综合考虑的问题，文章提出融合习题难度和作答经验的深度知识追踪模型(DKT-DE)。该模型通过分析作答序列评估习题的难度和学生的作答经验来丰富模型输入层的特征信息，从而提高模型的预测性能。最后，在3个公共数据集(ASSISTments2009、ASSISTments2015、ASSISTments2017)上，对DKT-DE模型与5个基线模型(BKT、DKT、DKT+、DKVMN、SAKT模型)进行对比实验和消融实验。对比实验结果表明DKT-DE模型能够更准确地评估学生的知识掌握状态：与基线模型中表现最好的DKT+模型相比，DKT-DE模型在ASSISTments2009、ASSISTments2015、ASSISTments2017数据集上的AUC平均值分别提升了2.78%、2.44%、1.5%。而消融实验结果进一步证明习题难度和学生作答经验对提升模型预测能力都起到了积极的贡献。     

多媒体学习中学习者控制的专长反转效应

多媒体学习中的学习者控制是否会对学习效果产生积极影响似乎受到学习者的知识水平和学习者控制类型的影响.两组不同知识水平的学习者分别采用4种不同学习者控制类型进行学习,并对学习之后的记忆和迁移成绩进行测量.实验结果表明,不同学习者控制类型条件下的学习效果受到学习者知识水平的影响,即存在知识反转效应.信息传递和表征方式控制对于低知识水平学习者来说,能够提高其记忆成绩.内容控制作为一种高水平控制方式,对已有一定知识的学习者来说,会促进迁移成绩的改善.     

针对评论文本的情感分析方法

为了克服传统基于机器学习的情感分析算法依赖手工建立情感词典、需要进行人工干预的缺点,该文提出1种加权word2vec注意力长短记忆网络(WWAL)情感分析模型。突出评论文本中关键词的作用,在word2vec的基础上引入了术语频率-逆文档频率(TFIDF)算法形成词向量,同时在长期短期记忆(LSTM)网络模型中加入了注意力机制。在标准数据集上的实验证明,该文WWAL模型的查准率、召回率和F_1指标等实验衡量指标均优于传统机器学习方法。     

基于知识增强的深度新闻推荐网络

在新闻推荐场景下,传统的基于文本特征的新闻推荐模型只考虑了词的共现关系,无法捕获词语的隐含词义和关联知识;而基于深度学习的推荐模型在融合知识图谱信息中仅仅考虑实体的信息,忽略了远距离实体之间的联系,造成实体之间的关联信息和深层次语义联系的缺失.针对该问题提出了一种基于知识增强的深度新闻推荐网络（deep knowledge-enhanced network,DKEN）,利用长短期记忆网络提取知识图谱中的实体路径特征,补充到注意力网络中,然后针对不同的候选新闻动态地构建用户的特征.实验表明该实体路径信息能提高模型的效果,在F₁指标上提升大约1%.      

学习资源精准推荐模型及应用研究

根据属性特征推荐资源,由于存在冷启动和稀疏性问题,限制了在线学习资源推荐的性能.基于知识表示和协同过滤,将学习者的学习水平和学习风格等特征融入推荐过程,进行协同过滤个性化推荐,提出了一种学习资源精准推荐模型,构建了学习者和学习资源知识表示模型;通过实验表明知识表示-协同过滤相结合的推荐算法在个性化推荐和推荐准确度方面优于传统的CF算法.     

基于PSO-BiLSTM的储层岩石脆性指数预测

脆性指数被认为是一个重要的岩石参数，诸多学者提出了脆性指数的不同计算方法，但是测量方法较为复杂或者成本较高.为了解决上述问题，采用深度学习的方法预测脆性指数，其可以有效融合多元数据，充分利用数据去挖掘自变量与因变量之间的关系.因此，基于常规测井曲线资料，建立了基于粒子群算法（PSO）优化的双向长短期记忆（BiLSTM）模型.实验结果表明，PSO-BiLSTM的MAE=0.050 1,RMSE=0.054 8，该模型比其他传统方法更精确，更具有实用性和适用性.     

基于注意力卷积神经网络的工作票专家推荐方法

为了更准确地将工作票推荐给具备解决问题能力的系统运维专家,对历史工作票数据进行研究提出基于深度学习的工作票专家推荐算法。首先根据专业熟练度水平和领域知识构建专家能力模型,然后设计卷积神经网络框架,在输入层中引入注意力来提高模型对工作票文本特征提取能力,并度量与专家模型的匹配度,实现以推荐质量为依据的专家推荐。在真实的数据集上进行了实验,结果表明与传统的基于机器学习的推荐方法相比,该方法的准确率提升了6%,引入注意力可以有效学习特征权重。     

基于外部知识筛选的主题文本生成技术研究

在自然语言生成任务中，主题文本生成是一项富有挑战性的工作，其主要难点在于：源信息量远小于目标生成的信息量.为了解决该问题，本文提出一个基于外部知识筛选的主题文本生成模型Trans K，通过引入与主题词相关的外部知识来丰富源信息，进而提高生成文本的质量.本文为了解决引入外部知识的“一词多义”问题，提出一种基于线性变换的主题向量计算方法，用于筛选和主题词语义一致的外部知识；提出一种基于注意力机制的外部权重计算方法，为每个外部词设定一个主题权重，使其更贴合文本语义；为了解决主题词（含候选词）在生成文本中反复出现的问题，提出一种基于多头注意力机制的内部权重计算方法.在EASSY数据集上的实验表明，与基线相比，Trans K生成文本质量的各项指标更优.此外，人类评估表明，该模型可生成与主题更相关、语言更连贯、且符合语义逻辑的文本.     

基于CNN-BLSTM的食品舆情实体关系抽取模型研究

食品舆情实体关系抽取是构建食品舆情知识图谱的关键技术,也是当前信息抽取领域的重要研究课题。针对食品舆情中常出现的实体对多关系问题,在卷积神经网络(convolutional neural network,CNN)中引入基于位置感知的领域词语义注意力机制;在双向长短时记忆(bidirectional long short-term memory,BLSTM)网络中引入基于位置感知的语义角色注意力机制,构建基于CNN-BLSTM的食品舆情实体关系抽取模型。在食品舆情数据集上进行了对比实验,实验结果表明:基于CNN-BLSTM的食品舆情实体关系抽取模型在食品舆情数据集上准确率比常用的几种深度神经网络模型高出8.7%~13.94%,验证了模型的合理性和有效性。     

具有选择性局部注意力和前序信息解码器的代码生成模型

提出一种基于语法的代码生成模型, 该模型具有选择性局部注意力和包含前序信息的长短期记忆(LSTM)神经网络解码器, 通过更改上下文向量的计算范围, 并在解码过程中融合更多的前序信息, 增强单词之间的相关性。在Hearthstone和Django两个数据集上进行的代码生成实验证实了所提模型的有效性, 与最新的模型相比, 所提模型不仅表现出更出色的准确率和双语评估学习成绩, 还可以使计算工作量最小化。     

基于双通道模型的航空发动机剩余寿命预测

针对现阶段航空发动机单一剩余使用寿命预测模型数据挖掘深度不足导致预测精度低的问题,提出一种双通道模型的预测方法。首先,构建双通道网络结构：通道一使用时间卷积网络,通过残差结构和空洞卷积使得网络具有更大的感受野和计算速度;通道二使用卷积长短时间记忆网络,提取多维时空特征,捕捉数据长期依赖关系。其次,利用多头注意力机制为双通道网络特征重新赋予权重。最后,将双通道网络进行特征融合输出,实现对航空发动机剩余寿命预测。使用涡扇发动机退化数据集进行实验验证,并与其它文献中提到的卷积双向长短时间记忆网络模型、多特征注意力模型、多头注意力模型、卷积门控单元循环神经网络模型进行对比。结果表明,所提模型在3种评价指标上均取得更好的表现,为航空发动机剩余寿命预测提供了一种新思路。     

Prediction of Online Judge Practice Passing Rate Based on Knowledge Tracing

Programming ability has become one of the most practical basic skills, and it is also the foundation of software development. However, in the daily training experiment, it is difficult for students to find suitable exercises from a large number of topics provided by numerous online judge(OJ) systems. Recommending high passing rate topics with an effective prediction algorithm can effectively solve the problem. Directly applying some common prediction algorithms based on knowledge tracing could bring some problems, such as the lack of the relationship among programming exercises and dimension disaster of input data. In this paper, those problems were analyzed, and a new prediction algorithm was proposed. Additional information, which represented the relationship between exercises, was added in the input data. And the input vector was also compressed to solve the problem of dimension disaster. The experimental results show that deep knowledge tracing(DKT) with side information and compression(SC) model has an area under the curve(AUC) of 0.776 1, which is better than other models based on knowledge tracing and runs faster.     

基于AMCNN-LSTM的电力无线接入专网异常流量检测

为了减轻电力无线专网系统因网络业务增多而带来的网络攻击以及异常流量入侵的安全事故隐患,提出了一种基于注意力机制的卷积-长短期记忆网络(convolution-long short-term memory network based on attention mecha-nism,AMCNN-LSTM)模型.该模型为避免序列特征稀疏分布的问题,采用卷积神经网络(convolutional neural net-work,CNN)提取时间序列数据特征并转化为维度固定的稠密向量;为防止记忆丢失和梯度分散问题,使用融合注意力机制的CNN单元来捕捉重要的时间序列细粒度特征;将CNN提取局部特征与长短期记忆网络(long short-term memory network,LSTM)提取序列特征的优势相结合,对电力接入专网流量数据进行异常检测.通过在电力网真实数据集上实验表明,基于注意力机制的算法能够在150轮次迭代下达到89.14％的召回率及89.67％的综合F-meas-ure得分.所提出的模型能够及时、准确地检测电力网络异常流量,有效提高检测效率及准确度.     

基于组合神经网络的中文事件抽取

中文事件抽取通常使用循环神经网络(recurrent neural network, RNN)来进行事件和事件要素的抽取, 但 RNN 在处理长度较长的词语时容易丢失重要信息, 为此提出一种组合卷积神经网络(convolutional neural network, CNN)与双向长短期记忆(bidirectional long short-term memory, Bi-LSTM)网络的中文事件抽取模型 CNN-Bi-LSTM-CRF, 其中 CRF (conditional random field) 为条件随机场. 采用基于注意力机制和语义特征生成的字词联合向量, 使用 CNN 和 Bi-LSTM 模型对字词联合向量进行处理, 以获取其隐含表示, 最后通过 CRF 得出预测结果. 实验结果表明, 所提出的方法与其他现有的中文事件抽取方法相比, 准确率有明显提升.     

长短时记忆网络的自由体操视频自动描述方法

提出一种长短时记忆网络的自由体操视频自动描述方法.在视频描述模型S2VT中,通过长短时记忆网络学习单词序列和视频帧序列之间的映射关系.引入注意力机制对S2VT模型进行改进,增大含有翻转方向、旋转度数、身体姿态等关键帧的权重,提高自由体操视频自动描述的准确性.建立自由体操分解动作数据集,在数据集MSVD及自建数据集上进行3种模型的对比实验,并通过计划采样方法消除训练解码器与预测解码器之间的差异.实验结果表明:文中方法可提高自由体操视频自动描述的精度.     

基于递归长短期记忆网络和镜头序列注意网络的视频摘要生成

为解决基于长短期记忆网络LSTM的视频摘要生成方法当输入序列过长时LSTM网络中的记忆单元不能集中在长时间序列的跨度上。通过深度学习的方法研究了一种基于递归长短期记忆网络(ReLSTM)和序列注意(SSA)的视频摘要生成模型用以提高深度学习网络学习时序特征的能力。该模型使用ReLSTM网络提取时间特征。同时,利用SSA动态调整每个视频序列输入到ReLSTM网络中的特征权重。结果表明：在数据集TVSum上F1-score平均提高2.5%,最高提高0.2%。在数据集SumMe上F1-score平均提高7.8%,最高提高3.4%。可见该方法能有效地学习镜头之间的时序特征。     

GARCH-neural网络模型对股票价格买卖差波动率的预测

股票价格买卖差是衡量金融市场流动性和有效性的重要指标,已经得到学术界的广泛研究.相比而言,作为衡量股票市场风险的重要因素的股票价格买卖价差的波动率却没有得到相同的重视.在广义自回归条件异方差(generalized autoregressive conditional heteroscedasticity,GARCH)模型的基础上,提出了GARCH-neural network (GARCH-NN)混合模型分析股票价格买卖价差波动率的动态性.以深圳证券交易所成分股价指数的高频数据为样本对所提模型进行了实证分析.运用GARCH家族模型对股票价格买卖差波动率的动态性进行分析,得出预测效果最优的GARCH模型.在最优GARCH模型的基础上结合神经网络分析方法即GARCH-NN混合模型对样本数据进行了实证分析.比较分析最优GARCH模型和GARCH-NN混合模型对股票价格买卖差波动率的预测效果,并以AIC(Akaike information criterion)和BIC(Bayesian information criterion)作为检验模型预测效果的指标.实证结果表明,提出的GARCH-NN混合模型更优.