基于流水线架构的卷积神经网络FPGA实现

卷积神经网络（CNN）已被广泛用于图像处理领域,且通常在CPU和GPU平台上进行计算,然而在CNN推理阶段存在CPU计算速度慢和GPU功耗高的问题。鉴于现场可编程门阵列（field programmable gate array,FPGA）能够实现计算速度和功耗的平衡,针对当前在卷积结构设计、流水线设计、存储优化方面存在的问题,设计了基于FPGA的卷积神经网络并行加速结构。首先将图像数据和权值数据定点化为16 bit定点数,一定程度上减少了乘加运算的复杂性;然后根据卷积计算的并行特性,设计了一种高并行流水线卷积运算电路,提高了卷积运算性能,同时也对与片外存储进行数据交互的流水线存储结构进行了优化,以减少数据传输的时间消耗。实验结果表明,整体加速器在ImageNet数据集上的识别率达到94.6%,与近年来相关领域的报道结果相比,本文在计算性能方面有一定的优势。     

基于GPU的并行拟牛顿神经网络训练算法设计

针对人工神经网络训练需要极强的计算能力和高效的最优解搜寻方法的问题,提出基于GPU的BFGS拟牛顿神经网络训练算法的并行实现。该并行实现将BFGS算法划分为不同的功能模块,针对不同模块特点采用混合的数据并行模式,充分利用GPU的处理和存储资源,取得较好的加速效果。试验结果显示:在复杂的神经网络结构下,基于GPU的并行神经网络的训练速度相比于基于CPU的实现方法最高提升了80倍;在微波器件的建模测试中,基于GPU的并行神经网络的速度相比于Neuro Modeler软件提升了430倍,训练误差在1%左右。     

压缩感知A*OMP重构算法的并行化与GPU加速实现

针对压缩感知系统实时应用的需要,探讨了A*OMP算法的并行设计及基于GPU的加速方法.将耗时长的矩阵逆运算转化为可并行的矩阵/向量操作,并结合算法本身的关联特性,进一步采用迭代法实现以降低其计算复杂度.利用GPU高效的并行运算能力,将算法中可并行的矩阵/向量计算映射到GPU上并行执行,在面向Matlab的Jacket软件平台上对整体串行算法进行了并行化的设计与实现.在NVIDIA Tesla K20Xm GPU和Intel(R)E5-2650 CPU上进行了测试,实验结果表明:对比CPU平台的串行实现,基于GPU的A*OMP算法整体上可获得约40倍的加速,实现了在保持系统较高重构质量的同时能有效降低计算时间,较好地满足了系统实时性的需要.     

基于FPGA的YOLOv2加速器设计

卷积神经网络(CNN:Convolutional Neural Network)计算量较大,为达到快速处理数据的目的,需借助硬件手段进行加速.因此,利用现场可编程门阵列(FPGA:Field Programmable Gate Array)并行计算的架构特性,提出了基于FPGA的并行计算加速策略.该策略采用的具体方法包括:合理分布片上内存与片下存储,降低数据读取延迟;采用多通道并行流水结构加速卷积操作;通过卷积层数据共享减少访存延迟.利用PYNQ-z2开发平台加速卷积神经网络YOLOv2,最终实现目标物体的检测识别,该设计的处理能力为27.03 GOP/s(Giga Operations Per Second,10亿次运算/s),与CPU(E5-2620V4)相比,处理能力是CPU的6.57倍,功耗是CPU的3％.     

N3LDG: 一种轻量级自然语言处理深度学习库

提出一种用于自然语言处理的轻量级深度学习库N3LDG, 可以支持动态地构建计算图, 并能自动地批量化执行计算图。实验显示, 当训练卷积神经网络、双向LSTM和树结构LSTM时, N3LDG都能高效地构建与执行计算图; 当使用CPU训练上述模型时, N3LDG的训练速度优于PyTorch; 当使用GPU训练卷积神经网络和树结构LSTM模型时, N3LDG的训练速度优于PyTorch。     

基于卷积神经网络的图像识别算法研究

针对卷积神经网络在自然图像识别上的局限性,提出一种适用于自然图像识别的卷积神经网络算法,使其在自然图像识别的准确率和速度上取得更好的效果.首先利用MAPREDUCE实现算法的并行化,并利用GPU技术对该算法进行加速;再次利用多区域的逻辑回归计算方法提高图像识别的准确率.在实验环境下验证了改进算法的正确性和有效性.     

利用卷积神经网络的显著性区域预测方法

针对神经网络的显著性区域预测存在数据采集代价大、处理繁琐等问题,提出2种卷积神经网络,即从头开始训练的浅层卷积神经网络,以及前三层源自另一个网络的深层卷积神经网络。其中,浅层网络结构简单,可避免过拟合问题;深层网络可以充分利用最底层的模型参数,收敛更快,效果更好。所提卷积神经网络应用于回归问题,均没有直接训练特征图的线性模型,而是在迁移层上训练了一堆新的卷积层。从端到端的角度解决显著性预测,将学习过程演化为损失函数的最小化问题。测试和训练在SALICON,SUN和MIT300数据集上进行,实验结果验证了所提方法的有效性。其中,深层网络和浅层网络在SALICON和SUN数据上的结果相似,深层网络在MIT300上的结果更优,与其他方法相比,所提方法具有不错的表现,而且具有跨数据集的鲁棒性。     

基于多尺寸特征图卷积方法的玉米雄穗检测

为了解决传统雄穗检测方法因玉米品种不同以及田间环境不同导致的检测误差较大、鲁棒性较差的问题,利用深度卷积神经网络提取特征,并对多尺寸特征图卷积的方法检测玉米雄穗。采用深度卷积神经网络inception作为基础网络来训练提取玉米雄穗特征,同时增加额外的卷积层对图像进行卷积提取特征,最后分别对基础网络中的两层卷积层以及额外的卷积层卷积得到的不同尺度特征图进行分类和位置回归。整体网络结构是多尺度端到端框架,效率高,方便检测不同尺度的雄穗。实验结果表明,此方法提高了雄穗检测的速度和准确率。     

基于卷积神经网络的图像分类研究进展

基于卷积神经网络的图像分类算法的优势是传统方法无法比拟的。卷积神经网络利用其设计好的网络结构和权值共享的特点,能够从数量庞大的训练数据中学习图像底层到高级语义的抽象特征,而且端到端的学习省去了在每一个独立学习任务执行之前所做的数据标注。多年来,卷积神经网络经过科研人员的探索和尝试,从最开始的多层神经网络模型,演变出多种优化结构,性能不断提高。本文介绍了基于卷积神经网络图像分类算法的研究进展,叙述了卷积神经网络在图像分类中的经典模型和近年来的改进方法,并对各个模型进行分析,展示各种方法在ImageNet公共数据集上的性能表现,最后对基于卷积神经网络的图像分类算法的研究进行总结和展望。     

基于深度学习的交通拥堵检测

针对交通拥堵检测,提出一种利用深度学习中卷积神经网络(convolutional neural network, CNN)对交通拥堵图像进行检测的方法。首先,使用基于TensorFlow框架设计了含有三层卷积层的神经网络分类模型。其次,利用道路拥堵与非拥堵图片对分类模型进行训练,并进行评估。最后,利用训练完成的模型进行道路拥堵检测,与多种深度学习分类模型分类方法进行对比实验,表明该卷积神经网络模型能够更有效地进行拥堵检测,检测准确率达到了98.1%。     

一种基于卷积网络的地震探测数据随机噪声去除方法

为有效提高地震数据信噪比,通过卷积神经网络(convolutional neural network,CNN)的方法研究了地震勘探数据去除随机噪声问题.该方法包含17个卷积层,使用线性整流(rectified linear unit,ReLU)激活函数避免梯度消失,使用批量标准化(batch normalization,BN)提高网络的泛化能力.所构建的网络应用残差学习策略,即输入为含噪地震正演叠前数据,输出为CNN网络学习获得的随机噪声.然后从地震记录中减去网络预测的噪声数据,从而达到去除随机噪声的目的.同时,根据地震勘探数据振幅随探测时间衰减的规律,在网络训练过程中进行深度加权,使得CNN对于深部噪声的学习效果更好.网络在PyTorch框架下训练,应用图形处理器并行计算可以有效提高网络训练速度.利用训练好的网络进行去噪实验,结果表明与传统的时空域预测滤波法相比,该网络能更好地压制随机噪声.可见针对地震勘探数据,CNN能够有效提取含噪数据中的噪声信息,证明了该方法在去除随机噪声方面的合理性与有效性.     

基于卷积神经网络的壁面清洗机器人障碍物检测识别算法

结合机器人的工作原理以及卷积神经网络(CNN)在图像分类中的应用,提出了一种基于卷积神经网络的壁面障碍物检测识别算法.首先,以壁面障碍物准确识别为目标,构建壁面障碍物图像库;然后,通过对VGG-16网络简化后进行优化,得到适合壁面障碍物准确识别的卷积神经网络模型.在此基础上,设计该网络由输入层、4层卷积层、2层池化层、1层全连接层以及输出层组成,进一步利用3×3卷积核对训练样本进行卷积操作,并将所获取的特征图以2×2领域进行池化操作.重复上述操作后,通过学习获取并确定网络模型参数,得到最佳网络模型.实验结果表明,障碍物的识别准确率可达99.0%,具有良好的识别能力.     

拆分降尺度卷积神经网络入侵检测方法

针对卷积神经网络模型待训参数量过大、多层网络导致特征和梯度消失等问题,论文提出了一种基于拆分层和Inception-ResNet的卷积神经网络模型用于入侵检测。首先将网络流量数据转化为具有空间相关性的图像以适用于卷积神经网络的输入;然后使用Inception-ResNet卷积层增加网络深度,减少模型训练参数数量以及消除梯度消失问题,拆分层在降低图像尺度时基本保持图像原有分类特征;最后采用NSL-KDD数据集对改进模型进行训练和测试。测试结果表明,改进模型相对于Inception-ResNet模型具有更高的检测准确率和少数类样本召回率以及更好的训练时间性能。     

基于卷积神经网络的基因剪接位点预测

研究剪接位点可以更深入地探索剪接机制和基因预测方法,准确预测剪接位点至关重要。基于深度学习技术提出一种新的预测方法,无需人工提取样本特征,以基因序列的K-MER编码向量作为输入,采用训练后的卷积神经网络(CNN)模型进行预测。基于人类基因HS3D供体数据集,与传统机器学习方法进行预测比较,结果表明预测模型的主要性能指标,包含马修斯相关系数(MCC)、灵敏度(SN)均超过传统的机器学习方法。     

Land cover classification of RADARSAT-2 SAR data using convolutional neural network

In this paper, we propose a convolutional neural network (CNN) based on deep learning method for land cover classification of synthetic aperture radar (SAR) images. The proposed method consists of convolutional layers, pooling layers, a full connection layer and an output layer. The method acquires high-level abstractions for SAR data by using a hierarchical architecture composed of multiple non-linear transformations such as convolutions and poolings. The feature maps produced by convolutional layers are subsampled by pooling layers and then are converted into a feature vector by the full connection layer. The feature vector is then used by the output layer with softmax regression to perform land cover classification. The multi-layer method replaces hand-engineered features with backpropagation (BP) neural network algorithm for supervised feature learning, hierarchical feature extraction and land cover classification of SAR images. RADARSAT-2 ultra-fine beam high resolution HH-SAR images acquired in the rural urban fringe of the Greater Toronto Area (GTA) are selected for this study. The experiment results show that the accuracy of our classification method is about 90% which is higher than that of nearest neighbor (NN).     

基因遗传算法在文本情感分类中的应用

本文以微博文本为主要实验对象,提出适合卷积神经网络进行自我优化的编码方式,分别将每一层看做是一个染色体,将每一层中的参数看做是一个基因片段,采用混合双重非数值编码的方式编码每个CNN框架,设计出适合于CNN网络的选择、交叉和变异的算法,并且把基因遗传算法(GA)和与卷积神经网络相结合,提出了基于情感分析算法的遗传算法(GA-CNN).通过对传统算法与GA-CNN的实验与对比分析,良好地展示了自我优化性.     

一种基于少样本且不均衡的网络攻击流量检测系统

为解决网络攻击流量检测中使用的有监督学习方法严重依赖标签数据规模的问题,针对一种少样本且不均衡的攻击流量检测场景,即训练数据仅包含少量蜜罐捕获的攻击流量且无正常流量,设计了一个攻击流量检测系统,并构建了基于孪生网络和深度学习卷积神经网络(CNN)的网络攻击流量检测模型(CNN-Siamese),以实现少样本且不均衡的攻击流量检测目的;随后为了解决CNN-Simaese在训练样本对构造采样时造成的预测不稳定的问题,结合迁移学习的思路,构建了基于预训练的检测模型(AE-CNN-Siamese);此外,对孪生网络中常用的对比损失函数进行了改进. 实验结果表明:CNN-Siamese可以准确地检测攻击流量,与CNN、CNN-SVM相比,在漏报率无明显差距情况下,可将误报率从30%降低至2%;AE-CNN-Siamese的预测结果比CNN-Siamese更稳定;改进后的损失函数提高了模型的收敛速度,加速了模型训练.     

基于深度CNN的改进弱监督学习方法设计与验证

针对包含目标、尺度和平移变化较强的空间信息难以获取大量训练样本的问题,提出一种基于深度卷积神经网络(deep convolutional neural network,DCCN)的弱监督学习方法,从3个层面对当前卷积神经网络进行扩展。为了提取分辨率更高的局部特征,同时考虑到全卷积网络(full convolution network,FCN)在全监督式学习下的高效性能,使用FCN作为后端模块;为了获取更多的通用特征,增加一个多映射弱监督学习的传输层,对与补充性类模态相关的多个局部特征进行显式学习;为了优化训练过程,改进了池化层,使用全局图像标签进行训练,将空间得分聚合为全局预测。使用图像分类、弱监督逐点目标定位和图像分割3种常用的机器视觉任务进行评估。多个公开数据库的实验结果表明,所提方法能够有效地学习强局部特征,具有良好的分类和定位效果。