基于全局信息的卷积神经网络模型剪枝微调优化方法

为解决因卷积神经网络模型规模大, 模型剪枝方法引起的精度下降问题, 提出一种模型剪枝微调优化方法。该方法引入原卷积神经网络模型权重全局信息至剪枝后模型, 使原模型信息体现在剪枝后模型的权重上, 提升剪枝后模型的精度。在图像分类任务和目标检测任务中的实验结果表明, 所提出的微调优化方法可获得更大的压缩率和更小的模型精度损失。     

目标跟踪中基于深度可分离卷积的剪枝方法

为了减少跟踪网络中存在的参数量和计算量大的问题,提出了基于深度可分离卷积的剪枝方法。深度可分离卷积将跟踪网络中的传统卷积层分解为逐点卷积和逐层卷积两部分。在逐点卷积中,通过逐点卷积层中权重的大小来评估输入特征图通道在线性组合中的重要程度,将较小的权重及其关联的特征通道裁减掉。在逐层卷积中,通过K-L散度来衡量逐层卷积中滤波器的相似性,将相似的滤波器裁剪掉,减少冗余。通过上述方法进行多轮迭代剪枝,从而减少跟踪网络的参数量和计算量。在VOT数据集上的实验结果表明,在精度没有下降的前提下,剪枝后网络的参数量下降了22.54%,计算量下降了17.8%。在NVIDIA TX2设备上的实验结果表明,剪枝后网络的跟踪速度在CPU上提升了14.95%,在GPU上提升了13.07%。     

基于微型计算机和神经网络的果蔬识别

在微型计算机上使用深度卷积神经网络实现果蔬自动识别的复杂图像识别任务,并构造了具有人工智能技术的电子秤系统.采用深度可分离卷积和反向残差网络设计构成的深度神经卷积网络,极大减少了模型的运算量并保持了较高的识别精度,适合硬件资源有限的微型计算机.神经网络经过训练、调参、剪枝优化后,图像识别准确率达到91.9%,推理延时小于1.5 s.这种人工智能系统可以代替人工操作让顾客进行自主购物,适合在无人超市或者避免聚集接触的环境下使用.     

图像识别中的深度学习模型剪枝技术

为了探索用少量的图像数据指导模型剪枝，同时缩短确定裁剪哪些卷积核的时间，该文提出了一种基于卷积核输出特征图的和值的期望进行模型剪枝的策略。将少量的图像输入剪枝前的深度学习模型中，将同一层卷积核输出的特征图根据和值的期望进行排序，按照一定的剪枝率剪去较小期望值对应的卷积核。根据该文提出的模型剪枝策略，在3个通用的公开数据集CIFAR-10、CIFAR-100、ILSVRC-2012上进行了测试，并与目前主流的一些模型剪枝算法进行了对比。实验证明，该文提出的模型剪枝策略在VGG-16-BN上参数量压缩87.3%,每秒浮点运算次数(FLOPs)压缩78.6%,该模型在CIFAR-10上仍能达到93.19%的分类识别精度。在CIFAR-100数据集上，模型剪枝策略在ResNet-56上FLOPs压缩67%,仍能达到67.96%的分类识别精度。     

一种新的尖峰信号盲反卷积方法

介绍一种新的盲反卷积方法，以解决尖峰信号的盲卷积问题，该方法不需知道信号和噪声的先验知识。基于尖峰信号高斯混合模型，给出一个自适应反卷积滤波器和一个自适应零记忆非线性估计器，以实现信号的恢复。将进化计算和梯度算法相结合，对反卷积滤波器和零记忆非线性估计器进行参数寻优，从而获得良好的信号恢复效果。最后给出计算机仿真结果。     

基于多任务模型的乳腺癌病理图像分类

基于卷积神经网络提出了一种多任务模型将乳腺癌组织学图像分为良性与恶性及其子类.该模型是多任务模型,任务一将病理图像分为良性与恶性,任务二将图像分为良性与恶性的子类.模型总的损失函数是两个分类任务损失函数的加权和.该模型采用卷积层和全局平均池化层替代末端全连接层作为分类层,应用数据增强方法提升模型的性能.模型使用乳腺癌病理图像数据集BreaKHis进行消融实验并与VGG16模型进行对比.实验结果显示:提出的模型能够取得更好的性能,在二分类上达到了98.55%～99.52%的分类准确率,在多分类上达到了92.26%～94.85%的分类准确率.     

基于局部监督深度混合模型的变电站巡检机器人道路场景识别

近年来,在各种图像分类和处理中,卷积神经网络(convolutional neural networks, CNN)取得了明显的优势。通过CNN中的全连通顶层和中间层等,可有效获取具有全局语义信息的深度特征以及包含局部语义信息的卷积特征,以此来提升图像识别的效果。为了进一步改进变电站巡检机器人对自身所处环境的理解能力,特别是在依赖于道路场景中整体和细节图像相结合来进行特征识别的条件下,文章提出了一种基于局部监督深度混合模型的识别网络对变电站巡检机器人道路场景进行识别,以实现对卷积特征的有效应用。首先该识别网络可以有效地避免卷积特征捕获到的局部对象在高度压缩的全连接层表示中被明显消除的问题;其次在局部卷积监督层的辅助下,通过直接将标签信息传播到卷积层,实现对图像的局部结构进行增强以补充场景图像中无序的中层语义信息;同时添加空间卷积操作来处理由于遮挡所造成的信息丢失。实验结果表明,局部监督深度混合模型网络在明显提高推理速度的同时,能够保持较高的识别精度,并在实际变电站场景的识别中表现出优秀的性能。     

基于时空建模的动态图卷积神经网络

为了使图表示学习得到的嵌入向量对节点和边不断变化的动态图具有很好的信息表征能力, 提出一种动态图卷积神经网络模型(DyGCN), 将动态图上的表示学习建模为时间和空间信息的聚合。该模型将从图卷积神经网络(GCN)的空间卷积提取图上的结构信息与从时间卷积神经网络(TCN)的因果卷积提取时序上的历史信息相结合, 同时在空间卷积层加入自适应的模型更新机制, 使得模型参数随着图结构的变化能够自适应地更新。在金融领域数据集上针对金融欺诈检测进行的边分类实验表明, 该模型比现有方法有很大的性能提升。     

基于卷积神经网络和XGBoost的情感分析模型

情感分析是文本信息挖掘中的重要任务之一,在个性化推荐、舆情分析等方面具有重要的理论和应用价值,但情感分析对于短文本和长文本部分内容进行分析时准确率不高.本文利用卷积神经网络(CNN)模型在特征提取方面的优势,提出了一种结合XGBoost的高精度分类的卷积神经网络混合模型.该模型利用XGBoost进行回归分析,很好地解决了在卷积神经网络中使用softmax来进行回归分析时导致的准确度不高的问题,在对短文本和长文本部分内容进行情感分析时有良好的效果.最后在多个类的数据集上进行实验,取得了比卷积神经网络模型和时间递归神经网络更好的结果.     

基于改进卷积神经网络与动态衰减学习率的环境声音识别算法

环境声音识别在音频检索、监控方面有着广泛的应用,是听觉识别任务中的一个热门研究领域。但由于其声音信号的复杂多变,使得该任务在识别率提升方面依然面临许多挑战。针对这一问题本文提出了基于改进卷积神经网络的环境识别模型（S-CNN）,该模型采用反复堆叠的递减型卷积核提取不同尺度的局部特征,并在每层卷积层后采用Batch Normalization（BN）层对特征进行归一化操作。同时,利用动态衰减的学习率训练模型,以提高模型收敛速度与收敛稳定性。实验结果表明,相比于传统的机器学习与卷积神经网络模型,本文所设计的改进卷积神经网络模型S-CNN具有更好的识别率。在ESC-10环境声音数据库上,识别精度达到91.3%。     

基于生成对抗网络的人脸图像修复

为了有效修复大面积破损的面部图像,通过生成对抗网络,使用解码器-编码器结构的卷积神经网络作为生成模型,增强生成模型的结构信息预测能力,同时引入对抗训练策略优化生成模型。该模型首先训练一个判别模型识别真实图像,再将判别待修复图像输入生成模型后所得到的结果是否真实,从此为生成模型提供优化梯度。结合卷积神经网络的结构信息预测能力和DCGAN对抗策略的优化能力,提高图像补全效果。通过在CeleBA人脸数据集上进行的实验结果表明:该方法在补全大面积破损的图像任务上性能明显优于其他方法。     

结合Shortcut Connections结构的卷积稀疏编码图像去噪算法

卷积稀疏编码网络模型(convolutional sparse coding network, CSCNet)虽然能够有效解决去噪问题,但是该算法并没有考虑到迭代求解近似编码向量过程中卷积层、反卷积层之间的叠加会改变原始数据分布方式。为解决该问题,借鉴深度学习领域常用方法对原始模型进行改进。讨论了在CSCNet模型中加入以及不加入批处理标准化(batch normalization, BN)、非线性激活函数、残差学习(residual learning, RL)对模型图像去噪效果的影响,然后再此基础上分别设计了两个不同的网络模型结构。为使输入数据分布方式不因模型层与层之间传播而改变,模型1是在原始CSCNet网络的每一层加入非线性激活函数以及BN层。CSCNet模型中所训练的卷积核都是同样大小,为增加图像特征的多样性,模型2在模型1基础之上加入了简单残差块结构改变了原始模型参数传播方式,并将其通过Shortcut Connections结构与原始输入联结起来。从实验结果可以看出,在不降低原始模型计算效率的前提下,使用文中设计的模型所得去噪后的结果相比原卷积稀疏编码网络略有提升。     

基于全卷积神经网络的多尺度人脸检测

如何快速而准确地定位到人脸,针对这个问题,提出了一种基于全卷积神经网络的多尺度人脸检测方法.首先用全卷积层替换VGG网络中的全连接层,然后用二分类代替分类层,最后进行该算法下的人脸检测,通过对待检测的图片进行多尺度变换并将其输入到全卷积神经网络中,得到相应的概率矩阵,人脸图框通过非极大值抑制法获取.试验结果表明,该算法的准确率较高,检测时间短,性能较好.     

基于多尺度一维卷积神经网络的弯管冲蚀损伤智能检测方法

针对高压管汇损伤需要提高检测效率和准确率的问题,提出一种基于多尺度一维卷积神经网络(multi-scale one-dimensional convolutional neural network, MS-1DCNN)的弯管冲蚀损伤智能检测新方法,即用多尺度卷积层代替传统的单一尺度卷积层。在MS-1DCNN模型中,把通过模拟实验所得弯管冲蚀损伤原始时域信号作为多尺度一维卷积神经网络的输入,这样能解决传统方法依赖人工提取特征和专家知识的问题;然后,通过多尺度卷积层和池化层的交替连接对输入信号进行特征提取;最后,经由输出层输出弯管冲蚀损伤分类结果。模型试验结果表明：基于MS-1DCNN弯管冲蚀损伤检测方法可以有效检测出弯管冲蚀损伤,且平均检测准确率达到99.18%。研究可为高压管汇冲蚀损伤智能检测提供一种新思路。     

基于情感轮和多任务卷积神经网络的图像情感分布学习

图像情感分布学习可以对多种情绪同时进行建模,但现有的模型缺乏有效的方法直接考虑情绪之间的相关性.针对这一问题,该文提出一种基于情感轮和多任务卷积神经网络(EW-MTCNN)的图像情感分布学习模型,通过先验知识模块将心理学情感知识直接引入到深度神经网络中.基于Mikel's情感轮定义成对情绪之间的相关性,EW-MTCNN模型采用多任务卷积神经网络学习情绪之间的相关性信息,同时优化情感分布预测和情绪分类任务.EW-MTCNN模型由3个模块组成,3个模块分别是图像特征提取层、情感轮先验知识层和多任务损失层.在情感分布数据集(Emotion6)和单标签数据集(Artphoto)上进行对比实验的结果表明:EW-MTCNN模型在情感分布预测与情绪分类任务上比其他情感分布学习方法具有更优的性能.     

基于改进卷积神经网络的平面地图道路模糊推理分割方法

由于平面地图呈现方式单一且有限,为提升其多样性需准确分割平面地图中的道路区域。提出一种基于改进CNN(convolutional neural network)平面地图道路和模糊推理分割的方法。选取两个道路信息丰富的数据库,实验选取百度地图(Baidu)数据库和高德地图(Amap)数据库,标记得到含标签信息的像素训练集;用Sigmoid分割目标函数代替复杂的Softmax函数分别训练得到Baidu-CNN模型和Amap-CNN模型;对得到的像素点概率进行非线性映射,构建模糊推理系统;将非线性映射后均匀分布的像素点概率输入模糊推理系统,判断像素点属于道路区域的概率,得到道路分割结果。结果表明:所提算法得到的平面地图道路分割模型较传统算法分割效果更好;准确率可以达到94.49%;单张平面地图的道路分割速度可达到5 s。     

基于随机化网络的自主平台实时场景分类方法研究

场景分类使自主平台能够理解环境信息. 通常，基于随机化的神经网络能够快速识别场景信息，并且花费很少的时间训练权重. 然而，基于随机化的神经网络的浅层网络结构限制了其非线性表示能力. 此外，全连接的特征提取方式不能有效地提取局部特征信息. 集成框架能够有效提升精度，但会引入高模型复杂度及大量参数而大幅降低推理速度. 针对上述问题，提出一种基于多尺度卷积随机化的实时场景分类网络集成结构（multi-level convolutional randomization-based network ensemble architecture，E-MCRNet）. 首先，基于随机化网络将全连接层替换为多尺度卷积层构成多尺度卷积随机化网络（multi-level convolutional randomization-based network，MCRNet）；其次，多个MCRNet构成集成体系结构E-MCRNet. E-MCRNet由一个主隐藏层和多个子隐藏层组成，主隐藏层分别与每个子隐藏层级联形成分支网络. 测试结果表明，E-MCRNet可以提高精度以及降低集成模型的复杂度，而且能够部署于嵌入式设备有效地执行相关任务.