基于卷积神经网络的Android恶意软件检测技术研究

Android系统的迅速迭代及其开源特性使得Android恶意软件产生大量的变种,这对Android恶意软件检测和分类带来不小的挑战.机器学习方法已成为恶意软件分类的主流方法,但现有的大多数机器学习方法都使用传统的算法(如支持向量机).目前卷积神经网络(CNN)作为一种深度学习方法表现出了更好的性能,特别是在图像分类等应用上.结合这一优势以及迁移学习的思想,本文提出了一种基于CNN架构的Android恶意软件检测和分类方法.首先,提取Android应用的DEX文件然后将其转换成灰度图像并放入CNN中进行训练分类.本文实验使用Drebin和Android Malware Dataset(AMD)两个样本集.实验结果显示,该方法在Android恶意软件家族分类上准确率达到97.36%,在Android恶意软件检测中在不同样本集上的准确率都达到了99%以上.实验表明,本文提出的方法具有较高的分类准确率和泛化性能.     

基于BERT与多通道卷积神经网络的细粒度情感分类

为了分析突发事件期间网络舆论的情感倾向,以更有效地调节人们的情绪,维护社会稳定。本文提出了一种融合BERT模型和多通道卷积神经网络的深度学习方法用于细粒度情感分类,以获取更加丰富的文本语义特征信息。通过BERT 对输入的文本进行编码,以增强文本的语义特征表示,再通过具有多个不同大小的卷积核的并行卷积层来学习文本特征,捕获文本的深层次特征,提升模型在文本分类的性能。对比实验表明,该模型在准确性、召回率和F1值方面均优于传统的情感分类模型,并能显著改善细粒度情感分类的性能。除此之外,本文还探究了表情符号对细粒度情感分类模型的影响,实验结果表明表情符号转换成文字后可以增强文本的情感特征提取能力,提升模型分类性能。     

基于姿态的判别属性学习及在细粒度识别中的应用

姿态变化造成同一对象或同类对象的视觉信息差异巨大,成为计算机视觉中对象识别的一大挑战因素.属性表示重在刻画较高的抽象语义特性,具有应对包括姿态变化的复杂环境变化的鲁棒性,但也给属性学习自身带来了较大难度.如何降低属性学习的难度同时提高属性表示的判别力,成为基于属性表示的识别模型的关键,尤其面临对判别属性要求较高的细粒度识别任务.显式地对姿态建模,在不同姿态下学习能够最大化类别间隔的视觉判别属性,最终作为中间表示用于类别识别.最后,在细粒度公开数据集CUB上验证了所提出的基于姿态的判别属性在细粒度识别任务中的有效性.     

面向细粒度分类的预测属性引导的注意力研究

细粒度图像分类任务比一般图像分类任务更具有挑战性,其通常需要对类间差异小、类内差异大的样本进行分类.现有细粒度分类方法主要依赖视觉特征进行分类,而人类可以根据文本描述等属性描述来辅助识别图像类别.该文提出了一种通过预测属性引导的通道注意力模块,该模块可以插入到任意的卷积神经网络中,从而让模型学习到更高级的特征表示.最后,该算法在CUB-200-2011数据集上测试,在使用Resnet-50、VGG-19、Bilinear-CNN作为主干网络训练时的精度分别达到87.1%、82.1%、85.5%,精度得到显著提升.     

基于神经网络模型的文本分类研究综述

文本分类是自然语言处理与理解当中重要的一个研究内容,在文本信息处理过程中有关键作用.目前深度学习已经在图像识别、机器翻译等领域取得了突破性的进展,而且它也被证明在自然语言处理任务中拥有着提取句子或文本更高层次表示的能力,也备受自然语言处理研究人员的关注.文章以基于深度学习的文本分类技术为研究背景,介绍了几种基于深度学习神经网络模型的文本分类方法,并对其进行分析.     

基于集成迁移学习的细粒度图像分类算法

针对现有的大部分细粒度图像分类算法都忽略了局部定位和局部特征学习是相互关联的问题,提出了一种基于集成迁移学习的细粒度图像分类算法。该算法的分类网络由区域检测分类和多尺度特征组合组成。区域检测分类网络通过类别激活映射(class activation mapping,CAM)方法获得局部区域,以相互强化学习的方式,从定位的局部区域中学习图像的细微特征,组合各局部区域特征作为最终的特征表示进行分类。该细粒度图像分类网络在训练过程中结合提出的集成迁移学习方法,基于迁移学习,通过随机加权平均方法集成局部训练模型,从而获得更好的最终分类模型。使用该算法在数据集CUB-200-2011和Stanford Cars上进行实验,结果表明,与原有大部分算法对比,该算法具有更优的细粒度分类结果。     

基于知识增强的ERBERT-GRU中文图书分类方法研究

图书的自动分类是图书管理和图书推荐算法中的基础工作,也是难点之一,而且目前针对中文分类算法主要集中在短文本领域中,鲜有对图书等长文本分类的研究.该文对深度学习分类算法进行了深入细致的研究,并对BERT预训练模型及其变体进行相应的改进.利用复杂层级网络叠加双向Transformer编码器来提取隐藏在文本中的细粒度信息.在预训练过程中,增加实体级别的遮罩,获得对传统BERT模型的改进,提高了模型对中文语义理解的能力.通过添加外部知识提升了该模型的鲁棒性.     

基于多核支持向量机的句子分类算法

主流句子分类算法采用单一词向量表示模型获得文本表示,导致了对文本的映射能力不足.对此,通过融合多种词向量的文本表示以提高分类的准确率.针对多核学习在融合不同核函数时,常规的核函数系数寻优方法存在的训练时间长、难以求得局部最优解等问题,提出了一种新的核函数系数寻优方法,该方法基于参数空间分割与广度优先搜索不断逼近核系数的最优值.以支持向量机(support vector machine,SVM)为分类器,在7个文本数据集上进行了分类实验.实验结果表明,多核学习分类效果明显优于单核学习,并且所提出的寻优方法在训练次数少于常规方法时也能获得了好的分类效果.     

基于语料库文本自动分类算法及应用比较研究

基于Python语言,利用公开中文语料库,测试不同算法模型对中文文本分类的效果.选择语料中不同数量的语料种类,首先对文本进行格式化读取、清洗等处理,而后以2:1:1的比例,分为训练集、验证集、测试集,最后依照文本表示、特征提取、分类算法选择、效果评估的步骤,依次在词袋、词嵌入、语言3种模型中选取典型代表进行中文文本分类.在深度学习模型的帮助下,文本分类得到了快速的发展,当前的主流分类方法基本都能满足不同任务的文本分类需求,特别是BERT语言模型可极大地提升文本分类的效果.     

基于领域知识的文本分类

提出了一种基于知识的文本分类方法,其中引入领域知识,利用领域特征作为文本特征,增强文本表示能力,将文本分类过程看作集聚计算过程.文本索引过程采用了改进型特征选取和权重计算方法.提出了一种基于互信息的学习算法,从训练语料中自动学习领域特征集聚计算公式.实验结果显示基于领域知识的文本分类技术总体性能优于传统的贝叶斯分类模型,领域知识的应用能够有效改善对相似主题和相反主题的分类性能.     

基于灰度纹理指纹的恶意代码分类

随着各种新技术的出现,传统的恶意代码的识别和分类技术存在着检测率瓶颈、实时监测效率不高的问题,为了提高准确率,提出了一种基于图像纹理指纹特征与深度学习神经网络结合的分类方法。该方法首先将数据集中恶意代码的二进制文件建模为灰度图,采用改进的灰度共生矩阵提取出恶意代码中的指纹特征图像,并选择不同步长扩展样本量,然后将该指纹特征图像作为输入数据集并采用卷积神经网络模型中进行分类训练。结果表明,该方法可以有效地分类恶意代码,准确率可达96.2%,并在泛化测试中取得了较好的效果。     

面向特征融合与知识蒸馏的恶意软件分类

恶意软件分类是一个多分类任务，旨在提取软件特征来训练模型，以判断恶意软件的类别。现有工作主要集中于利用深度神经网络从恶意软件图像中抽取特征进行分类，对恶意软件的序列特征和分布特征之间的关联性缺乏关注，限制了模型性能。此外，这些现有模型大多具有较高的参数量，往往需要占用较大的计算资源。为此，提出一种基于特征融合与知识蒸馏的恶意软件分类方法。一方面，通过残差网络分别从灰度图和马尔可夫图中抽取恶意软件的序列特征和分布特征，并利用自注意力挖掘不同特征之间的关联性，以提升模型性能。另一方面，通过教师网络向多个学生网络进行知识迁移，并让学生网络互相协作学习，以进一步降低模型规模。在微软和CCF数据集上的实验结果证明，该方法不仅有效提升了模型性能，而且可以降低模型的参数量和计算量。此外，本文通过热力图定位影响分类结果的字节，对分类依据进行解释。     

基于深度学习的Stack Overflow问题帖分类方法

针对基于正则表达式和传统机器学习的分类方法分别存在模式手工提取困难和性能瓶颈的问题, 提出一种基于深度学习的问题帖分类方法, 采用深度文本挖掘模型TextCNN和融合注意力机制的TextRNN构建分类模型. 实验结果表明, 基于深度学习的方法在多数问题目的类别上的分类性能优于已有基准方法, 且使用的Adam优化器优于SGD优化器, 使用Glove预训练的词向量优于使用随机生成的词向量. 该方法以提问目的对帖子进行分类, 可为分析Stack Overflow(SO)上的帖子讨论主题增加新维度.     

融合表情符号图像特征学习的微博情感分类

表情符号作为一种新兴的网络图形化语言,由于能够直观地表达用户的情感和态度,因此在社交平台被广泛使用。现有的利用表情符号进行微博情感分类的研究主要考虑表情符号的文本特征,这样的做法不能很好的捕捉表情符号之间更细粒度的联系,并无法适应表情的不断发展与变化。针对现有研究存在的问题,本文提出了一种基于卷积自编码器的表情图像特征学习的微博情感分类模型。该模型通过卷积自编码器捕捉的表情符号的图像特征,然后将图像的嵌入表达融入到微博的文本特征中,再利用多层感知机进行情感分类。该模型分别在中文和英文微博的数据集上和现有的方法进行了对比,实验证明,本文的方法优于现有的方法,并且在新表情和跨语言环境下的泛化能力更强。     

基于STACKING-BERT集成学习的中文短文本分类算法

由于word2vec、Glove等静态词向量表示方法存在无法完整表示文本语义等问题,且当前主流神经网络模型在做文本分类问题时,其预测效果往往依赖于具体问题,场景适应性差,泛化能力弱。针对上述问题,提出一种多基模型框架(Stacking-Bert)的中文短文本分类方法。模型采用BERT预训练语言模型进行文本字向量表示,输出文本的深度特征信息向量,并利用TextCNN、DPCNN、TextRNN、TextRCNN等神经网络模型构建异质多基分类器,通过Stacking集成学习获取文本向量的不同特征信息表达,以提高模型的泛化能力,最后利用SVM作为元分类器模型进行训练和预测。与word2vec-CNN、word2vec-BiLSTM、BERT-texCNN、BERT-DPCNN、BERT-RNN、BERT-RCNN等文本分类算法在网络公开的三个中文数据集上进行对比实验,结果表明,Stacking-Bert集成学习模型的准确率、精确率、召回率和F1值均为最高,能有效提升中文短文本的分类性能。     

基于注意力机制和特征融合的网络威胁情报技战术分类研究

在威胁情报包含的信息中,与网络攻击相关的战术、技术、程序（TTPs）是最能刻画组织行为的关键信息。但是,TTPs信息抽象层次高,并且通常存在于语法结构不规则的网络威胁情报文本中。这导致传统的人工分析方法以及基于特征工程的机器学习方法难以快速有效地从中分类出TTPs。使用单一的深度学习特征提取器则因无法提取文本语意中完整的邻域特征和序列特征,导致技战术分类精度低。 针对上述问题,本文提出一种基于注意力机制和特征融合的深度学习模型：ACRCNN,用于网络威胁情报中的战术与技术的分类。该模型通过卷积与循环神经网络同时提取网络威胁情报文本中的邻域与序列信息,再由卷积层与池化层进行深层次的特征抽取与降维,完成特征融合。然后,通过注意力层完成特征加权,最终经由全连接层完成战术与技术的分类。实验结果表明,ACRCNN在战术、技术分类任务中表现优异,在F1指标上达到了91.91%、83.86%,对比现有模型,分别提高了2.46%和4.94%。     

基于集成学习的智能电网主机恶意软件检测方法

目前智能电网恶意软件检测系统主要基于特征库对已知恶意软件进行检测,不适用检测恶意软件未知变种.而现有基于机器学习的恶意软件未知变种检测方法的准确性和鲁棒性有待进一步提升,不足以满足智能电网实际需要.因此,提出一种基于集成学习的恶意软件未知变种检测方法,利用多源数据集和多种机器学习方法交叉构建单一检测模型,并设计一种基于Logistic的集成学习方法,构建恶意软件未知变种集成检测模型.实验对比分析表明,构建的集成检测模型相较于传统单一检测模型在准确性和鲁棒性方面有着显著提升.     

推荐系统研究综述

随着互联网技术的快速发展,如何对海量网络信息进行挖掘分析,已成为热点和难点问题。推荐系统能够帮助用户在没有明确需求或者信息量巨大时解决信息过载的问题,为用户提供精准、快速的业务(如商品、项目、服务等)信息,成为近年来产业界和学术界共同的兴趣点和研究热点,但是,目前数据的种类多种多样并且应用场景广泛,在面对这种情况时,推荐系统也会遇到冷启动、稀疏矩阵等挑战。深度学习是机器学习的一个重要研究领域和分支,近年来发展迅猛。研究人员使用深度学习方法,在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。目前,深度学习在推荐领域也得到了许多研究人员的青睐,成为推荐领域的一个新方向。推荐方法中融合深度学习技术,可以有效解决传统推荐系统中冷启动、稀疏矩阵等问题,提高推荐系统的性能和推荐精度。文中主要对传统的推荐方法和当前深度学习技术中神经网络在推荐方法上的应用进行了归纳,其中传统推荐方法主要分为以下3类:1)基于内容推荐方法主要依据用户与项目之间的特征信息,用户之间的联系不会影响推荐结果,所以不存在冷启动和稀疏矩阵的问题,但是基于内容推荐的结果新颖程度低并且面临特征提取的问题。2)协同过滤推荐方法是目前应用最为广泛的一种方法,不需要有关用户或项目的信息,只基于用户和诸如点击、浏览和评级等项目的交互信息做出准确的推荐。虽然该方法简单有效但是会出现稀疏矩阵和冷启动的问题。3)混合推荐方法融合了前2种传统推荐方法的特点,能取得很好的推荐效果,但在处理文本、图像等多源异构辅助信息时仍面临一些挑战与困难。依据神经网络基于深度学习的推荐方法主要分为4类:基于深度神经网络(DNN)的推荐方法、基于卷积神经网络(CNN)的推荐方法、基于循环神经网络(RNN)和长短期记忆神经网络(LSTM)的推荐方法、基于图神经网络(GNN)的推荐方法、将深度学习技术融入到推荐领域,构造的模型具有以下优势:具有较强的表征能力,可以直接从内容中提取用户和项目特征;具有较强的抗噪能力,可以轻易地处理含有噪声的数据;可以对动态或者序列数据进行建模;可以更加精准地学习用户或项目特征;便于对数据进行统一处理,并且可以处理大规模数据。将深度学习技术应用到推荐领域,可以积极有效地应对传统推荐方法面临的挑战,提高推荐效果。     

基于动态行为特征加权聚类的加壳恶意软件未知变种检测方法

攻击者为了逃避检测，常利用加壳技术对恶意软件进行加密或压缩，使得安全分析人员以及传统基于静态分析的恶意软件检测方法在恶意软件运行前难以利用反汇编等逆向工具对其进行静态分析。为检测加壳恶意软件，当前主要采用动态分析方法检测加壳恶意软件，然而受限于加壳工具种类和样本规模，以及恶意软件加壳行为带来的混淆噪声，导致传统基于机器学习检测方法存在准确率不足等问题。研究提取并分析加壳恶意软件运行时的系统调用行为特征，识别并筛选出敏感行为，旨在过滤脱壳行为噪声产生的影响；通过对系统调用行为特征加权降维，提升行为特征的有效性；通过对加权降维的行为特征进行聚类分析，最终实现加壳恶意软件未知变种检测和检测模型增量更新。实验结果表明，提出的基于动态行为特征加权聚类的加壳恶意软件未知变种检测方法检测误报率3.9%,相较几种典型机器学习检测方法呈显著降低。