一种基于双重网络模型的单幅图像超分辨率方法

本文对深度学习领域中的高效亚像素卷积神经网络（efficient sub-pixel convolutional neural network,ESPCN）算法进行了改进,通过加入残差网络知识,调整原有的ESPCN构造结构,提出了一种双重网络模型下单幅图像超分辨率重建方法。通过实验证明：该算法能够有效地提高单幅图像超分辨率重建的精度,丰富重建后的细节信息。     

基于生成对抗网络的异质信息网络表征学习

鉴于传统的异质信息网络通常存在的高维稀疏性缺点,首先提出将异质信息网络的高维顶点嵌入低维向量空间的无监督学习模型——基于生成对抗网络的异质网络表征学习（heterogeneous network representation learning based on generative adversarialnetwork,HNRL-GAN）模型;然后分析HNRL-GAN模型中的不足之处,进一步提出改进后的基于生成对抗网络的增强版异质网络表征学习（heterogeneous network representationlearning based on generative adversarial network plus plus,HNRL-GAN++）模型;最后分别在DBLP、Yelp、Aminer等数据集中使用HNRL-GAN模型和HNRL-GAN++模型进行节点分类和节点聚类等实验以测试模型的有效性。实验结果表明：1）HNRL-GAN模型和HNRL-GAN++模型都实现了将异质信息网络中的高维稀疏节点表示为低维稠密向量这一目标;2）相较于HNRL-GAN模型,HNRL-GAN++模型在保留高维空间中网络结构信息和语义信息等方面拥有更好的性能。     

基于改进CNN-LSTM组合模型的分时段短时交通流预测

针对现有预测模型不能充分提取交通流时空特征的问题,提出一种基于改进卷积神经网络（convolutional neural network,CNN）和长短时记忆（long short-term memory,LSTM）神经网络的短时交通流预测方法。首先,采用分层提取方法使设计的网络结构和一维卷积核函数自动提取交通流序列的空间特征;其次,优化LSTM网络模块来减少网络对数据的长时间依赖;最后,在端对端模型的训练过程中,引入改进后的自适应矩估计（rectified adaptive moment estimation,RAdam）优化算法,加快权重的拟合并提高网络输出的准确性和鲁棒性。实验结果表明：在工作日与周末分时段,所提出的模型相比堆栈自编码（stacked auto-encoders,SAEs）网络预测模型,性能分别提升3.55%与8.82%,运行时间分别缩减6.2%与6.9%;相比长短时记忆网络-支持向量回归（long-short term memory-support vector regression,LSTM-SVR）预测模型,性能分别提升0.29%与1.79%,运行时间分别缩减9.0%与9.7%。所提模型能够更加适用于不同时段下的短时交通流预测。     

嵌套网络模型下的相似图像检索方法

对深度学习领域的稠密卷积网络（dense convolutional network, DenseNet）进行改进，提出了一种嵌套网络模型下的相似图像检索方法。该方法主要通过嵌入压缩和激励网络（squeeze-and-excitation network, SENet），调整原DenseNet网络结构，优化特征提取模块，从而提高图像检索的准确率。在整个深度学习的过程中，给图像特征通道设置合理的权值，抑制图像中的无效特征，能够进一步提高图像的检索速度。实验结果表明，所提算法能够加强图像有效特征的传递，无论从精度和速度方面均可得到较好的图像检索结果。     

基于改进特征融合和区域生成网络的Mask R-CNN的管件分拣研究

针对管件分割任务中各类管件区分难度大，光线和阴影对分割精度存在干扰等问题，提出了一种改进的掩膜区域卷积神经网络（mask region-convolutional neural network,Mask R-CNN）的管件分拣算法。通过增加低层特征图以改进特征融合网络，提高小型管件的识别率；根据管件尺寸比例改进区域生长网络的生成框，以加快模型收敛速度；增加通道和空间注意力模块，提升管件识别精度及掩膜效果。将改进后的Mask R-CNN用于四类管件的分拣任务，实验结果表明，改进后Mask R-CNN的掩膜检测平均精度均值（mean average precision, mAP）和平均召回率（mean recall, mRecall）值分别提高了1.5%和1.7%，对管件位置、类型和尺寸的判别能力更强，能够满足实际生产中机器人分拣管件的精度要求。     

基于代价敏感卷积神经网络的集成分类算法

针对不平衡数据集中少数类样本分类识别率较低的问题,提出一种基于代价敏感卷积神经网络(cost sensitive convolutional neural network,CSCNN)和AdaBoost的分类算法(classification algorithm based on cost sensitive conv...     

嵌套网络模型下的相似图像检索方法

对深度学习领域的稠密卷积网络（dense convolutional network,DenseNet）进行改进,提出了一种嵌套网络模型下的相似图像检索方法。该方法主要通过嵌入压缩和激励网络（squeeze-and-excitation network,SENet）,调整原DenseNet网络结构,优化特征提取模块,从而提高图像检索的准确率。在整个深度学习的过程中,给图像特征通道设置合理的权值,抑制图像中的无效特征,能够进一步提高图像的检索速度。实验结果表明,所提算法能够加强图像有效特征的传递,无论从精度和速度方面均可得到较好的图像检索结果。     

基于深度学习的图像局部模糊识别

数字图像中常用模糊操作隐藏或抹去篡改的痕迹.为此,针对常用的高斯模糊、均值模糊及中值模糊操作的识别问题,构建了一种卷积神经网络模型,并给出其网络拓扑结构.在传统的卷积神经网络模型中添加一个信息处理层,提取出输入图像块的滤波频域残差特征,以提高网络模型对一次滤波与二次滤波操作的识别性.实验结果表明,所提方法的准确率较以往传统方法有较大提升,且泛化性能优越,能检测出主流的线性和非线性滤波操作。     

基于GRU与特征嵌入的网络入侵检测

当前基于神经网络的入侵检测方法并没有将数据分类信息考虑在内，无法有效利用网络流量数据的时序信息，为此将门控循环单元（gated recurrent unit，GRU）和基于分类信息的特征嵌入技术结合起来，构建了基于GRU与特征嵌入的网络入侵检测模型。利用UNSW-NB15数据集进行模型仿真实验，结果表明该模型提高了对入侵攻击的检测率，为入侵检测中大规模数据的处理提供了一种全新的思路。     

关于卷积神经网络损失函数的改进算法

经典的卷积神经网络模型损失函数在设计时只考虑输出与标签之间的比较,没有涉及到图片之间的差异.为了提高卷积神经网络模型提取特征的差异,提出了基于Triplet network模型约束的卷积神经网络模型,这种方法提高了卷积神经网络提取有效特征的能力,减少数据集数量对于模型的影响.在MNIST数据集和cifar-10数据集上进行实验,提出的新模型在这2个数据集上比经典的卷积神经网络模型识别效果更好.     

基于快速特征欺骗的通用扰动生成改进方法

近年来，基于深度神经网络的应用日益广泛，然而深度神经网络容易受到由输入数据设计的微小扰动而带来的对抗性攻击，导致网络的错误输出，给智能系统的部署带来安全隐患.为了提高智能系统的抗风险能力，有必要对存在风险的扰动生成方法展开研究.快速特征欺骗（fast feature fool，FFF）是面向视觉任务的一种有效的通用扰动生成方法.考虑了输入图像在网络中的实际激活状态，以最大化原始图像和对抗样本之间的特征差异作为生成扰动的目标函数；同时考虑不同卷积层对于生成扰动的不同影响，在生成扰动的目标函数中，对不同卷积层对应的项加以不同权重.实验结果表明，改进的FFF方法攻击成功率更高，同时也具备更强的跨模型攻击能力.     

基于双流LSTM神经网络的股价趋势预测

股价波动研究依赖分析金融新闻数据集浅层特征，而忽略了金融新闻句子中单词之间的结构关系，从而导致股价波动预测研究效果不佳。针对该问题，提出了一种基于双流长短时记忆网络（long short term memory network, LSTM）神经网络的股价趋势预测模型（Sent2Vec-DLSTM）。该模型的创新之处在于：提出了基于金融股票新闻数据集和哈佛IV-4情绪词典训练的情感词向量生成模型——Sent2Vec；提出了新型的双流LSTM神经网络（Dual-stream LSTM, DLSTM）。在实验中，首先用标普500指数历史数据以及爬取获得的金融类文章进行标普500指数的趋势预测，然后用VietStock新闻和来自Cophieu68的股票价格数据预测VN指数的变化趋势。结果表明，Sent2Vec-DLSTM相较于现有模型在股价趋势预测中具有更好的效果。     

利用深度残差网络的高分遥感影像语义分割

遥感影像分割是影像解译与分析的必要过程,随着深度学习在特征表达上的优势逐步显现,以深度网络为基础模型的影像语义分割已成为自动分割的主要研究趋势.该文提出了一种基于深度残差网络的多尺度语义分割模型,旨在针对小样本遥感影像数据集,提高具有不同尺度分割对象的遥感影像分割精度.首先将深度残差网络以全卷积网络形式进行微调,实现端到端语义分割模型结构构建;然后针对全卷积网络粗糙分割输出的问题,引入Atrous卷积精细化模型上采样过程,进而提高输出标签图精度;最后针对小样本数据进行随机多尺度数据增强,通过样本扩充提高模型分类精度和鲁棒性.试验基于ISPRS 2D Vaihingen语义分割数据集,影像分割结果的分类精度达到89.7%,尤其在小尺度对象上具有较好分割效果.     

基于CNN和Bi-LSTM的脑电波情感分析

针对目前大多数脑电波情感识别方法存在的依赖手动特征提取等问题,提出一种基于卷积神经网络(convolutional neural network,CNN)和双向长短时记忆(bidirectional long short-term memory,Bi-LSTM)网络的混合模型.首先将一维数据转换为二维数据,采用CNN提...     

基于混合神经网络的协同过滤推荐模型

数据稀疏性是推荐系统中严重影响推荐结果准确性的重要因素之一.针对数据稀疏性提出了融合卷积神经网络（convolutional neural network,CNN）和降噪自编码（denoisingauto-encoder,DAE）神经网络混合的神经网络评分预测模型（convolutional-denosing autoencoder,CDAE）对用户未评分项目进行预测评分，从而解决数据稀疏性问题.首先将向量化后的用户评论数据通过卷积神经网络训练得到用户特征向量矩阵，其次将用户特征向量矩阵作为降噪自编码神经网络的初始权重，结合用户评分数据经过降噪自编码神经网络训练，得到用户-项目预测评分，然后在此基础上进行基于用户的协同过滤推荐.最后使用movielens-1M实验数据集对比验证了提出的混合神经网络协同过滤推荐（convolutional-denosing autoencoder collaborative filtering,CDAECF）模型.实验证明，所提出的CDAECF模型能够有效地结合隐性反馈和显性反馈数据，具有较高的推荐准确率.     

基于3D-CNN的高光谱遥感图像分类算法

现有的三维卷积神经网络(Three-dimensional convolutional neural network, 3D-CNN)模型常有参数过多和特征提取不全面的情况，并且对样本标签有限问题的处理存在不足。针对样本标签有限的问题，采用生成式对抗网络模型对原始数据进行数据增强，解决了个别样本标签少导致分类模型出现过拟合的现象；针对3D-CNN网络提取特征不全面的问题，所设计高效的3D-CNN网络模型，在网络中加入纹理信息增强模型，使网络能更好地提取图像的空谱特征。实验表明，算法在小样本数据情况下比原始网络分类精度更高，能自适应提取高光谱图像的空谱联合特征。     

基于知识蒸馏的轻量型浮游植物检测网络

当前基于卷积神经网络的目标检测框架已成为主流，使用深层的特征提取网络可以达到很好的目标检测效果，但带来的大量的参数和计算开销使这些算法难以应用到对存储空间和参数量有一定限制的嵌入式设备中.为此，该文提出将知识蒸馏方法用于目标检测网络的特征提取网络，以提升浅层特征提取网络的性能，在降低模型的计算量和规模的同时尽可能地保证模型的性能.实验结果表明，经过蒸馏的浅层网络作为特征提取网络的检测精度比没有经过教师指导的网络精度提高了11.7%.与此同时，该文构建的浮游植物目标检测数据集不仅可以评估一些最先进的目标检测算法的性能，也有利于未来浮游植物显微视觉技术的发展.     

基于LSTM和特征生成的网络流量分类

本文提出了一种将特征生成和长短期记忆（long short term memory,LSTM）模型相结合的网络流量分类方法。该方法采用矩阵乘法特征生成方式,分析对比了不同特征生成方法的分类性能。通过实验比较了原数据和特征数据在分类问题上的准确性,并比较了卷积神经网络（convolutional neural network,CNN）和本文方法用于网络流分类的效果。在统计特征时采用核函数,使其可以适应LSTM输入维度,获得更佳的分类效果。对真实网络流数据的实验结果表明,本文方法在细分类中的准确度可达93.9%,而在粗分类任务中可达99.2%,其性能明显优于现有其他分类方法。     

基于树突网络的侧信道攻击

由于深度学习对数据内在特征的敏感性,将深度学习算法应用于硬件加密芯片的侧信道分析,提高了侧信道分析的效率和准确率.但深度神经网络学习算法依旧是非线性结构未知的深层黑盒模型,模型结构和性能不一定是最优.该文提出一种基于树突网络的侧信道分析方法,由于树突网络内部非线性结构的可解释性,其系统辨识能力和运算复杂度均优于深度学习网络.在ChipWhisperer侧信道分析实验平台的CW308T-STM32F3和ATXMEGA128D4目标板上,针对AES-128加密算法进行侧信道分析实验,实验结果表明,基于树突网络的侧信道分析在模型参数规模、攻击精度、训练时间等方面都要优于多层感知机、卷积神经网络、循环神经网络等深度学习模型.     

利用卷积神经网络的体育视频运动员检测

针对体育视频中多尺度运动员的检测问题,提出一种基于卷积神经网络的自动检测方法.首先,从视频帧中获得运动员图像,并结合非运动员图像构建训练集,利用Bootstrapping算法来训练卷积神经网络分类器.然后,对于输入的图像帧,通过二次采样构建不同尺度的图像金字塔,并通过卷积神经网络检测出多个候选运动员位置.最后,计算这些候选运动员的重心,获得一个具有代表性的候选运动员,再通过一个局部搜索过程来确定最终的运动员位置.实验结果表明,该方案具有较高的检测率和较低的误报率.