基于组合神经网络的中文事件抽取

中文事件抽取通常使用循环神经网络(recurrent neural network, RNN)来进行事件和事件要素的抽取, 但 RNN 在处理长度较长的词语时容易丢失重要信息, 为此提出一种组合卷积神经网络(convolutional neural network, CNN)与双向长短期记忆(bidirectional long short-term memory, Bi-LSTM)网络的中文事件抽取模型 CNN-Bi-LSTM-CRF, 其中 CRF (conditional random field) 为条件随机场. 采用基于注意力机制和语义特征生成的字词联合向量, 使用 CNN 和 Bi-LSTM 模型对字词联合向量进行处理, 以获取其隐含表示, 最后通过 CRF 得出预测结果. 实验结果表明, 所提出的方法与其他现有的中文事件抽取方法相比, 准确率有明显提升.     

基于语言模型及循环卷积神经网络的事件检测

目前,事件检测的难点在于一词多义和多事件句的检测.为了解决这些问题,提出了一个新的基于语言模型的带注意力机制的循环卷积神经网络模型(recurrent and convolutional neural network with attention based on language models,LM-ARCNN).该模型利用语言模型计算输入句子的词向量,将句子的词向量输入长短期记忆网络获取句子级别的特征,并使用注意力机制捕获句子级别特征中与触发词相关性高的特征,最后将这两部分的特征输入到包含多个最大值池化层的卷积神经网络,提取更多上下文有效组块.在ACE2005英文语料库上进行实验,结果表明,该模型的F1值为74.4%,比现有最优的文本嵌入增强模型(DEEB)高0.4%.     

基于语义共现与注意力网络的问题分类方法

针对汽车故障问答文本特征稀疏、语义信息不全、深层次语义特征较难提取等问题,提出基于问题-答案语义共现的多层次注意力卷积长短时记忆网络模型(co-occurrence word attention convolution LSTM neural network,CACL)的问题分类方法。通过向量空间模型计算问题与答案文本中语义相似的共现词,使用注意力机制聚焦问题文本中的共现词特征,输入卷积神经网络(convolutional neural network,CNN)提取问题局部特征,通过长短时记忆网络(long short-term memory network,LSTM)及词级别注意力机制提取长距离依赖特征及其更高层次的文本特征,采用Softmax进行问题分类。结果表明,相比较于主流的问题分类方法,该方法有效提高了问题分类的精度,最高提升了10.04%的准确率。同时,试验发现当选用11个有效共现词且共现词来自问题文本时,模型的处理精度最佳。合理利用问题-答案文本语义相似的共现词,能有效提升汽车故障问题的分类性能,且共现词的个数、来源对问题的分类精度有一定的影响。     

基于胶囊网络和注意力机制的智能合约漏洞检测方法

近年来,随着智能合约的数量越来越多,因合约漏洞而造成的经济损失愈发严重,智能合约的安全性越来越受到广泛的关注。基于深度学习的漏洞检测方法能够解决早期传统智能合约漏洞检测方法检测效率低、准确率不足的问题,但大多现有基于深度学习的漏洞检测方法都是直接使用智能合约源代码、操作码序列或字节码序列作为深度学习模型的输入,会因引入过多无效信息而削弱有效信息。为此,文中提出了一种基于胶囊网络和注意力机制的智能合约漏洞检测方法。考虑到程序的执行时序信息,文中通过提取智能合约的关键操作码序列作为源代码特征,然后利用胶囊网络和注意力机制的混合网络进行训练,其中胶囊网络模块用于提取智能合约的上下文信息以及局部与整体的联系,注意力机制用于给不同的操作码按照其重要程度分配不同的权重。实验结果表明,文中提出的算法在智能合约数据集中的F₁分数和准确率分别为94.48%和97.15%,与其他传统检测方法和深度学习方法相比有较明显的性能提升。     

基于深度学习的智能合约漏洞检测方法

以太坊是当下最流行的区块链平台之一,目前已部署数千万个智能合约,控制了价值数千亿美元的以太坊加密货币。由智能合约漏洞引起的安全事件层出不穷,资金损失尤为严重。针对当前智能合约漏洞检测率较低、检测性能不足的问题,提出了基于深度学习的智能合约漏洞检测方法。编译以太坊智能合约源码,解析其对应的字节码得到操作码数据流,根据以太坊黄皮书中操作码与16进制数的对应关系构建字典,将操作码数据流转化为用16进制数表示的操作码序列。通过对操作码序列进行分析,设计循环神经网络、长短期记忆神经网络和卷积神经网络-长短期记忆神经网络3种不同的深度学习网络结构进行漏洞检测。在真实环境中采集了47 527个智能合约,针对智能合约6种漏洞的检测,卷积神经网络-长短期记忆神经网络模型的Macro-F1达到了82.1%。大量的实验结果表明,所提出的模型和方法可实现高效的智能合约漏洞检测。     

基于ERNIE与多特征融合的中文命名实体识别

【目的】在中文命名实体识别中,传统命名实体识别方法中词向量只能将其映射为单一向量,无法表征一词多义,在特征提取过程中易忽略局部特征。针对以上问题,提出一种基于知识增强语义表示(enhanced reprsentation through knowledge integration, ERNIE)与多特征融合的实体识别方法。【方法】首先,通过预训练模型ERNIE获得词向量;然后将词向量并行输入双向长短时记忆网络(bidirectional long short-term memory network, BiLSTM)与膨胀卷积神经网络(iterated dilated convolutional neural network, IDCNN)中提取特征,再将输出特征向量进行融合;最后通过条件随机场(conditional random field, CRF)解码获取最佳序列。【结果】本研究所提出的模型优于其他传统模型,在微软亚洲研究院(Microsoft Research Asia, MSRA)数据集上的F₁值达到了95.18%,相比基准模型BiLSTM-CRF F<...     

基于多路融合卷积神经网络的网购商品情感分类

通过提出一种多路融合卷积神经网络(multi-mixed convolutional neural network,MMCNN)对网购商品评论数据进行文本情感分类。采用skip-gram模型进行词向量的训练,并用训练好的向量表示评论数据。针对评论数据长短不一的情况,提出了循环词向量填充和随机词向量填充算法,有助于提升模型分类的准确率。针对传统卷积神经网络特征提取方式单一的问题,将多路卷积特征和池化特征在全连接层进行了特征融合,以此提升网络的文本分类效果。选择京东网站上45 000条婴儿奶粉的评论数据进行试验,并与支持向量机、最大熵模型、朴素贝叶斯等传统机器学习方法以及经典卷积神经网络方法进行对比。试验结果表明,提出的多路融合卷积神经网络具有较高的分类正确率。     

基于ALBERT-CRNN的弹幕文本情感分析

提出一种结合ALBERT预训练语言模型与卷积循环神经网络(convolutional recurrent neural network,CRNN)的弹幕文本情感分析模型ALBERT-CRNN.首先使用ALBERT预训练语言模型获取弹幕文本的动态特征表示,使得句子中同一个词在不同上下文语境中具有不同的词向量表达;然后利用...     

多状态图神经网络文本分类算法

为了提高模型在文本分类任务中的分类性能,针对图神经网络中存在的过度平滑问题,同时增强模型在处理文本特征与文本表示方面的能力,提出了一种基于多状态图神经网络的文本分类算法(multi-state graph neural network, MSGNN)。多状态图神经网络是利用网络层的多个历史状态信息对图神经网络进行强化,构建合理的文本图结构数据作为模型输入。在缓解网络层过度平滑问题的同时,结合2种改进后的不同类型的图神经网络来增强模型的特征提取与特征聚合能力。利用多头自注意力机制对文本关键词的挖掘与利用能力,从多个文本子空间来生成高质量的文本表示,进而完成文本分类。通过在几个公开的文本分类数据集上进行实验分析,相较于其他神经网络的文本分类算法,该方法取得了较好的分类准确率。     

特征规范化的图卷积神经网络推荐算法

为了提高推荐算法的推荐性能,针对现有的图卷积神经网络(graph convolutional neural network, GCN)的推荐算法中,2-3层的传播网络结构不利于较远距离节点之间进行信息交互,而加深网络层数又会导致性能急剧下降的问题,提出一种特征规范化的图卷积神经网络推荐算法。该方法为传播网络中每一层输出特征进行规范化处理,避免节点嵌入表示随着网络层数增加而变得过于相似;在预测阶段,使用自注意力机制(self-attention mechanism, SA)将各层的输出进行连接,以获得更好的节点最终表示。在3个真实数据集上与传统算法以及现有同类型推荐算法进行对比,验证了该模型的有效性。实验结果表明,所提模型与基准模型相比,在召回率Recall@N和归一化折损累计增益NDCG@N上有明显提高,平均提升1.675%,最高可提升3.406%。     

基于深度学习的智能合约漏洞检测方法综述

智能合约是区块链三大特点之一,也是区块链具有应用价值和灵活性的领域.本质上,智能合约是一段用特定脚本语言实现的代码,不可避免地存在安全漏洞风险.如何及时准确地检查出各种智能合约的漏洞,就成为区块链安全研究的重点和热点.为了检测智能合约漏洞,研究者提出了各种分析方法,包括符号执行、形式化验证和模糊测试等.随着人工智能技术的快速发展,越来越多基于深度学习的方法被提出,并且在多个研究领域取得了很好的效果.目前,针对基于深度学习的智能合约漏洞检测方法并没有被详细地调查和分析.本文首先简要介绍了智能合约的概念以及智能合约漏洞相关的安全事件;然后对基于深度学习的方法中常用的智能合约特征进行分析;同时对智能合约漏洞检测中常用的深度学习模型进行描述.此外,为了进一步推动基于深度学习的智能合约漏洞检测方法的研究,本文将近年来基于深度学习的智能合约漏洞检测方法根据其特征提取形式进行了总结分类,从文本处理、静态分析和图像处理3个角度进行了分析介绍;最后,总结了该领域面临的挑战和未来的研究方向.     

基于结构化文本及代码度量的漏洞检测方法

目前的源代码漏洞检测方法大多仅依靠单一特征进行检测,表征的维度单一导致方法效率低.针对上述问题提出一种基于结构化文本及代码度量的漏洞检测方法,在函数级粒度进行漏洞检测.利用源代码结构化文本信息及代码度量结果作为特征,通过构造基于自注意力机制的神经网络捕获结构化文本信息中的长期依赖关系,以拟合结构化文本和漏洞存在之间的联系并转化为漏洞存在的概率.采用深度神经网络对代码度量的结果进行特征学习以拟合代码度量值与漏洞存在的关系,并将其拟合的结果转化为漏洞存在的概率.采用支持向量机对由上述两种表征方式获得的漏洞存在概率做进一步的决策分类并获得漏洞检测的最终结果.为验证该方法的漏洞检测性能,针对存在不同类型漏洞的11种源代码样本进行漏洞检测实验,该方法对每种漏洞的平均检测准确率为97.96%,与现有基于单一表征的漏洞检测方法相比,该方法的检测准确率提高了4.89%~12.21%,同时,该方法的漏报率和误报率均保持在10%以内.     

基于时空图注意力神经网络的交通道路拥塞和异常预测

为全面捕获交通路网的时空特性,分析路况的复杂多变性,实现道路拥堵和突发情况的高效准确预测,研究提出一种时空图注意力神经网络模型,通过将道路网络建模成一系列随时间变化的图,利用图注意力机制(graph attention network,GAT)关注路网图关键节点的空间特性并捕获动态的全图空间特征,再利用门控循环单元(g...     

A Method for Software Vulnerability Detection Based on Improved Control Flow Graph

With the rapid development of software technology, software vulnerability has become a major threat to computer security. The timely detection and repair of potential vulnerabilities in software, are of great significance in reducing system crashes and maintaining system security and integrity. This paper focuses on detecting three common types of vulnerabilities: Unused_Variable, Use_of_Uninitialized_Variable, and Use_After_ Free. We propose a method for software vulnerability detection based on an improved control flow graph(ICFG) and several predicates of vulnerability properties for each type of vulnerability. We also define a set of grammar rules for analyzing and deriving the three mentioned types of vulnerabilities, and design three vulnerability detection algorithms to guide the process of vulnerability detection. In addition, we conduct cases studies of the three mentioned types of vulnerabilities with real vulnerability program segments from Common Weakness Enumeration(CWE). The results of the studies show that the proposed method can detect the vulnerability in the tested program segments. Finally, we conduct manual analysis and experiments on detecting the three types of vulnerability program segments(30 examples for each type) from CWE, to compare the vulnerability detection effectiveness of the proposed method with that of the existing detection tool Cpp Check. The results show that the proposed method performs better. In summary, the method proposed in this paper has certain feasibility and effectiveness in detecting the three mentioned types of vulnerabilities, and it will also have guiding significance for the detection of other common vulnerabilities.     

基于图注意力网络的案件罪名预测方法:CP-GAT

案件罪名预测任务是基于文本数据去预测案件所属罪名.针对现有方法在相似罪名和长尾数据集上表现不佳的问题，提出了一种基于图注意力网络的案件罪名预测方法CP-GAT(charge prediction based on graph attention network).该方法首先使用司法文书数据集中的案例事件描述文本和案例对应的法条信息建立异质图结构数据，构建后的异质图包含两种类型的节点(词节点、案例节点)，两种类型的边(词节点与词节点相连的边，词节点与案例节点相连的边).在基于法律文本构建后的异质图上使用图注意力网络进行图特征提取，最后将得到的特征向量输入到罪名预测的分类器中，得到案例所属的罪名.在CAIL2018法律数据集上的实验结果表明，基于图注意力网络的罪名预测方法优于对比实验使用的方法，准确率和宏观F1值分别达到了95.2%和66.1，验证了提出的方法有利于提升案件罪名预测任务的性能.     

基于机器学习的Android应用组件暴露漏洞分析

现阶段已有很多Android应用软件的自动化漏洞检测方法,针对现有漏洞检测方案仍然依赖于先验知识并且误报率较高的问题,本文研究了基于机器学习的Android应用软件组件暴露漏洞的分析方法.在对Android应用软件结构进行全方位分析的基础上,结合组件暴露漏洞模型,建立了相应的机器学习系统,并能够对Android漏洞特征进行提取、数据清理和向量化.结合人工分析与验证,建立了1 000个Android APK样本集,并通过训练实现了组件暴露漏洞的自动化识别,达到了90%以上的精确度.      

基于卷积神经网络的多通道特征表示文本分类模型

尽管长短期记忆网络(long short-term memory,LSTM)、卷积神经网络(convolutional neural network,CNN)及其结合体在文本分类任务中取得了很大的突破.但这类模型在对序列信息进行编码时,往往无法同时考虑当前时刻之前和之后的状态,从而导致最后分类效果不佳.此外,多版本预训练词向量比单个版本的预训练词向量包含更多的信息.因此提出了一种基于CNN的多通道特征表示文本分类模型(multi-channel feature representation text classification model based on CNN,MC-CNN).该模型首先通过两个不同的双向长短期记忆(bi-directional long short-term memory,Bi-LSTM)来对不同来源词向量所表示的文本序列进行正逆序上的特征提取,并以此形成多通道特征;然后利用多尺度卷积网络来进一步使得模型能够同时充分考虑到当前时刻之前以及之后的信息,从而更加有效地进行文本分类.MC-CNN在MR、SST-2、TREC、AG、Yelp_F、Yelp_P数据集上分别达到了81.6％、87.4％、98.6％、94.1％、65.9％、96.8％的准确率,实验结果表明本文模型MC-CNN在文本分类任务中具有优异的效果.     

面向汉字矢量图形特征的字向量表征方法

为解决现有中文字向量表征方法中字形特征利用不充分的问题,利用矢量图形的尺度不变性,提出了一种面向汉字矢量图形特征的字向量 (scalable vector graphics to vector,SVG2vec)表征方法。预处理阶段将汉字像素图像转化矢量图形,生成字形矢量坐标对序列;特征学习阶段采用双向循环神经网络 (Recurrent Neural Network, RNN)和自回归混合密度循环神经网络构建矢量图形变分自编码器模型,利用模型学习汉字字形结构特征;向量生成阶段输入字形矢量坐标对序列到编码器,编码器将字形特征映射到概率连续分布空间,得到SVG2vec字向量。与已有字向量在不同层级任务上进行对比实验。结果表明：SVG2vec向量在命名实体识别、中文分词和短文本相似度计算实验中,F1均值比Word2vec、GloVe等未利用字形特征的向量分别提高了1.27、0.4,1.67、0.12,3.28、2.03,比glyph and meaning to vector (GnM2Vec)、Character-enhanced Word Embedding (CWE)等利用字形特征的向量分别提高了1.02、1.07,1.69、1.34,0.04、0.31,SVG2vec能更有效利用汉字字形特征。