Assembly language and assembler for deep learning accelerators

Deep learning accelerators(DLAs) have been proved to be efficient computational devices for processing deep learning algorithms. Various DLA architectures are proposed and applied to different applications and tasks. However, for most DLAs, their programming interfaces are either difficult to use or not efficient enough. Most DLAs require programmers to directly write instructions, which is time-consuming and error-prone. Another prevailing programming interface for DLAs is high-performance libraries and deep learning frameworks, which are easy to be used and very friendly to users, but their high abstraction level limits their control capacity over the hardware resources thus compromises the efficiency of the accelerator. A design of the programming interface is for DLAs. First various existing DLAs and their programming methods are analyzed and a methodology for designing programming interface for DLAs is proposed, which is a high-level assembly language(called DLA-AL), assembler and runtime for DLAs. DLA-AL is composed of a low-level assembly language and a set of high-level blocks. It allows experienced experts to fully exploit the potential of DLAs and achieve near-optimal performance. Meanwhile, by using DLA-AL, end-users who have little knowledge of the hardware are able to develop deep learning algorithms on DLAs spending minimal programming efforts.     

基于LSTM的钓鱼邮件检测系统

提出了一种基于LSTM的钓鱼邮件检测方式.该方式主要由两部分构成:分别为数据扩充部分及模型训练部分.数据扩展部分中,通过KNN与K-means算法扩大训练数据集,保证数据的数量能够满足深度学习算法的需要.在模型训练部分中,通过对数据进行预处理并将其转化为词向量矩阵,最后将转化完词向量通过训练得到LSTM神经网络模型.最终,可以根据训练好的LSTM模型将邮件分为正常邮件以及钓鱼邮件.通过实验对提出的算法进行了评估,实验结果显示提出的算法准确率可以达到95%.      

基于对抗样本的深度学习图像压缩感知方法

压缩感知是研究数据采样压缩与重构的信号处理新理论,近年来研究人员将深度学习运用到图像压缩感知算法中,显著提高了图像重构质量.然而,图像信息常与隐私关联,高质量的重构图像在方便人们观赏的同时,带来了隐私保护的问题.本文基于深度学习理论,提出一种对抗的图像压缩感知方法.该方法将压缩理论和对抗样本技术统一于同一个压缩感知算法,通过设计损失函数,联合重构误差和分类误差来训练压缩感知深度神经网络,使得压缩感知重构样本同时也是一个对抗样本.因此,重构图像在保证重构质量的同时,也能对抗图像分类算法,降低其识别率,达到保护图像隐私的效果.在Cifar-10和MNIST图像集上进行的实验结果表明,和已有的压缩感知方法相比,我们提出的对抗压缩感知方法以损失仅10%的图像重构质量为代价,使得图像分类精度下降了74%,获得了很好的对抗性能.     

一种基于类不平衡学习的情感分析方法

针对网络评论中普遍存在的负面评论较少而影响力却较大的类不平衡问题, 提出一种基于类不平衡学习的情感分析方法. 该方法利用深度学习训练过程中的概率输出, 以计算样例的信息熵作为影响因子构建交叉信息熵损失函数. 在IMDB公开数据集上进行实验验证的结果表明, 基于集成信息熵损失函数的双向长短期记忆网络能处理类不平衡问题; 对数据的统计分析结果表明, 该策略能提升基于双向长短期记忆网络的评论情感极性分类性能. 针对AUC(area under curve)指标, 使用集成信息熵损失函数的双向长短期记忆网络模型比未考虑类不平衡的深度学习模型在中位数上最多提升15.3%.     

基于深度学习的智能合约漏洞检测方法

以太坊是当下最流行的区块链平台之一,目前已部署数千万个智能合约,控制了价值数千亿美元的以太坊加密货币。由智能合约漏洞引起的安全事件层出不穷,资金损失尤为严重。针对当前智能合约漏洞检测率较低、检测性能不足的问题,提出了基于深度学习的智能合约漏洞检测方法。编译以太坊智能合约源码,解析其对应的字节码得到操作码数据流,根据以太坊黄皮书中操作码与16进制数的对应关系构建字典,将操作码数据流转化为用16进制数表示的操作码序列。通过对操作码序列进行分析,设计循环神经网络、长短期记忆神经网络和卷积神经网络-长短期记忆神经网络3种不同的深度学习网络结构进行漏洞检测。在真实环境中采集了47 527个智能合约,针对智能合约6种漏洞的检测,卷积神经网络-长短期记忆神经网络模型的Macro-F1达到了82.1%。大量的实验结果表明,所提出的模型和方法可实现高效的智能合约漏洞检测。     

ECOC多分类算法在慕课数据挖掘中的应用

收集并整合多所高校学生的慕课学习行为数据,设计基于数据复杂度的纠错输出编码(ECOC)多分类算法.该算法利用数据复杂度降低多类之间的分类难度,从而提高算法的预测准确度.实验结果表明,在不同高校的慕课数据集的测试中,所设计基于数据复杂度的ECOC分类算法比传统的ECOC算法具有更高的分类准确度和鲁棒性,实现了学生学习成绩...     

基于卷积神经网络-双向长短期记忆网络的人体活动识别方法

针对人体活动传感器数据的时序性特点,以及当前机器学习算法过度依赖手工特征提取的问题,提出了一种融合卷积神经网络和双向长短期记忆网络的深度学习模型(convolutional neural network-bidirectional long short term memory network,CNN-BiLSTM)进行...     

LACC:a hardware and software co-design accelerator for deep neural networks

With the increasing of data size and model size,deep neural networks(DNNs) show outstanding performance in many artificial intelligence(AI) applications.But the big model size makes it a challenge for high-performance and low-power running DNN on processors,such as central processing unit(CPU),graphics processing unit(GPU),and tensor processing unit(TPU).This paper proposes a LOGNN data representation of 8 bits and a hardware and software co-design deep neural network accelerator LACC to meet the challenge.LOGNN data representation replaces multiply operations to add and shift operations in running DNN.LACC accelerator achieves higher efficiency than the state-of-the-art DNN accelerators by domain specific arithmetic computing units.Finally,LACC speeds up the performance per watt by 1.5 times,compared to the state-of-the-art DNN accelerators on average.     

基于样本集质量的建筑能耗预测机器 学习算法选择及参数设置

使用机器学习算法对建筑能耗进行预测正逐渐成为建筑设计初期重要的决策辅助工具,机器学习算法的选择及其参数设置一直是机器学习领域研究的热点和难点。但现有研究大多从算法原理角度进行预测模型的选择及参数设置,训练样本集的特征信息未得到充分利用。为此,提出一种以样本量及样本分布特征为出发点的样本集质量分类方法,针对不同质量样本集测试不同机器学习算法的学习性能,制定不同质量样本集的算法选择及参数设置策略。分析样本特征与算法性能之间的关系,为建筑设计提供有效指导。     

基于混合深度学习的蔗糖原料蔗顶芽杂质探测技术

为有效地解决复杂情况下蔗糖原料蔗顶芽杂质的识别问题,本研究对复杂环境下高密集度的原料蔗顶芽杂质的特征进行分析,将特征金字塔网络(Feature Pyramid Network,FPN)和RoIAlign整合到Faster R-CNN和Cascade R-CNN的架构中,再将多种深度网络算法融入到统一的多层架构的深度网络...     

精细拓扑结构表示与深度特征融合在多目标图像检索中的应用

空间信息表示是增强图像特征表达性能的重要手段,通过空间关系建模与深度学习方法融合可有效提升深度特征的语义特性,从而提升图像检索性能.首先,针对复杂图像的空间关系表示提出了一种新的精细拓扑结构表示模型,该模型不仅具有完备的拓扑描述性能,还提供了两种拓扑不变量的推理算法,使得拓扑不变量可以由表示模型直接推导而不需要繁复的几何计算;其次,基于精细拓扑结构表示模型,提出了有效的拓扑结构相似性度量方法,为空间关系特征表达奠定了基础;最后,进一步结合卷积神经网络,提出融合复杂空间关系特征与深度特征的多目标图像检索方法.实验结果表明,所提出的拓扑结构表示模型在空间查询中具有良好的性能;所提出的图像检索框架取得优于现有方法的精度,并能够有效地结合手工特征与深度特征各自的优势,为提升深度学习方法的可解释性创造了有利条件.     

基于深度学习的红外与可见光图像融合综述

图像融合技术是指从不同的源图像中提取并融合互补的信息,生成一幅信息量更丰富、对后续高级视觉任务提供足够支持的图像.红外与可见光图像融合（Infrared and Visible Image Fusion,IVIF）是图像融合领域的一个重要分支.近年来,深度学习技术在视觉计算领域表现出了良好的性能,尤其是基于自编码器、卷积神经网络、生成对抗网络等几种基于深度学习的IVIF技术得到了蓬勃发展.为此,对基于深度学习的IVIF算法的方法、数据集和评估指标等进行了总结和阐述;通过大量的实验,进行定性和定量的结果分析,对比了各类基于深度学习IVIF算法的性能;最后,讨论了该领域未来发展的一些前景和研究方向.     

基于灰狼算法优化深度学习网络的网络流量预测

针对深度学习网络在网络流量预测建模过程中的参数优化难题, 以改善网络流量预测结果为目标, 提出一种基于改进灰狼算法优化深度学习网络的网络流量预测模型. 首先, 收集网络流量历史数据, 并对数据进行相空间重构、 归一化等预处理; 其次, 引入灰狼算法快速搜索到全局最优深度学习网络的相关参数, 并根据最优参数对预处理后的网络流量历史数据进行学习, 建立能挖掘网络流量历史数据变化规律的预测模型; 最后, 与其他算法优化深度学习网络的网络流量预测模型进行对比分析. 实验结果表明, 基于改进灰狼算法优化深度学习网络的网络流量预测精度超过90%, 远高于其他对比模型, 且预测建模过程的建模时间少于对比模型, 可满足网络流量管理的高精度和实时性要求.     

基于Jerk流形正则化深度极限学习机的电能质量复合扰动识别

为了有效利用电能质量复合扰动识别中存在的大量难以标注的实测样本,提出了一种基于Jerk流形正则化深度极限学习机(DJRELM)的半监督扰动学习方法. 算法通过堆叠嵌入Jerk流形正则化的极限学习机自编码器(JRELM-AE)实现在复合扰动特征自动提取的同时保持数据内部流形结构. 分类层通过阈值预测极限学习机和Jerk正则化半监督极限学习机的结合将多层网络扩展到多标签半监督分类应用. 实验结果表明:该方法在不同噪声环境下的分类准确率均高于几种基于极限学习机的监督学习、半监督学习算法、传统多层极限学习机和深度卷积神经网络,具有理论意义和实用价值.     

代价敏感学习的过度拟合问题研究

代价敏感学习算法的目的是最小化各种代价总和,与其他学习算法一样,它必须面对过度拟合这个挑战性问题,即分类器可以较好地拟合训练数据,但对测试或实际数据的效果较差.针对代价敏感学习的这些缺点,提出两个克服过度拟合的策略.第一个滤波技术策略针对TCSDT分类建立,滤波后的概率估计值被用于对每个分离属性的潜在误分类代价计算,并延缓潜在大误分类代价的分离属性的优先选择,最后,采用交叉验证方法决定m的值.第二个策略与基于标准错误的Laplace剪枝方法不同,阈值剪枝采用一个预先定义的阈值集合(跟代价有关)来确定决策树的一个叶节点是否被剪除.这两策略可独立或联合用于避免TCSDT分类的数据过度拟合.实验表明,所提出的两算法不但在代价敏感学习中有优势,在非代价敏感学习也具有优势,可以有效地减弱过度拟合,有很强的健壮性,UCI数据集实验结果显示算法的拟合能力平均优于存在方法10%以上.     

深度残差网络和LSTM结合的图像序列表情识别

为了改善图像表情和图像序列表情识别效果,针对传统表情识别特征提取复杂和效果不理想问题,提出了一种深度残差网络和局部二值模式(local binary patterns,LBP)相结合的特征提取方法,利用深度残差网络提取数据集的空域特征,长短期记忆网络(long short-term memory,LSTM)处理时域特征,实现空域与时域特征的结合。研究了不同层数的残差网络、不同形式的LBP算子以及其他网络结构对人脸表情识别的影响,对比了支持向量机和随机森林实现的序列表情识别算法。在Cohn-Kanade数据集和AFEW6.0数据集上进行了验证,实验结果表明,算法在验证集上的准确率分别为73.1%和58.4%,相比其他算法有一定程度的提升。     

可缓解类重叠问题的跨版本软件缺陷预测方法

针对软件缺陷预测过程中未充分使用源代码语义特征以及训练数据集中的类重叠问题, 提出一种面向类重叠的跨版本软件缺陷深度特征学习方法. 该方法采用混合式最近邻清理策略缓解深度学习语义特征中存在的类重叠问题. 在PROMISE公开数据集上进行测试的结果表明, 该策略能提升基于深度语义学习的软件缺陷预测性能, 分类性能最多在中值上提升14.8%. 实验结果表明, 在跨版本深度缺陷预测问题中可采用混合式最近邻清理策略缓解类重叠问题.     

基于密集连接机制的无线信号调制识别

为提高复杂信道环境下无线通信系统对调制信号的检测识别能力,以及针对当前调制识别方法存在的模型复杂、计算量大、输入数据特征不完备等问题。提出一种改进的深度学习算法模型,对真实无线环境下的9种常见调制信号进行识别研究。该算法通过对原始的同相正交(in-phase quadrature, IQ)数据进行幅度相位计算,以此增加模型输入数据的特征信息,采用改进的密集神经网络(dense neural network, DenseNet)对常见调制信号进行识别分类。实验结果表明：在相同的训练数据样本中,相比其他深度学习调制识别算法,改进算法性能最优。在信噪比为0时,DenseNet平均识别率达到84.6%。改进的IQ输入数据明显提高了无线信号的检测识别率,在信噪比为-10 dB和-5 dB时,调制信号的识别率提高了10%。     

Taiga: Performance Optimization of the C4.5 Decision Tree Construction Algorithm

Classification is an important machine learning problem, and decision tree construction algorithms are an important class of solutions to this problem. Rain Forest is a scalable way to implement decision tree construction algorithms. It consists of several algorithms, of which the best one is a hybrid between a traditional recursive implementation and an iterative implementation which uses more memory but involves less write operations. We propose an optimized algorithm inspired by Rain Forest. By using a more sophisticated switching criterion between the two algorithms, we are able to get a performance gain even when all statistical information fits in memory. Evaluations show that our method can achieve a performance boost of 2.8 times in average than the traditional recursive implementation.     

Micro-expression recognition algorithm based on the combination of spatial and temporal domains

Aiming at the problem of unsatisfactory effects of traditional micro-expression recognition algorithms,an efficient micro-expression recognition algorithm is proposed,which uses convolutional neural networks(CNN) to extract spatial features of micro-expressions,and long short-term memory network(LSTM) to extract time domain features.CNN and LSTM are combined as the basis of micro-expression recognition.In many CNN structures,the visual geometry group(VGG) using a small convolution kernel is finally selected as the pre-network through comparison.Due to the difficulty of deep learning training and over-fitting,the dropout method and batch normalization method are used to solve the problem in the VGG network.Two data sets CASME and CASME II are used for test comparison,in order to solve the problem of insufficient data sets,randomly determine the starting frame,and a fixedlength frame sequence is used as the standard,and repeatedly read all sample frames of the entire data set to achieve trayersal and data amplification.Finallv.a hieh recognition rate of 67.48% is achieved.