基于膨胀卷积的多模态融合视线估计

基于表观的视线估计方法主要是在二维的三原色(red green blue,RGB)图像上进行,当头部在自由运动时视线估计精度较低,且目前基于卷积神经网络的表观视线估计都普遍使用池化来增大特征图中像素点的感受野,导致了特征图的信息损失,提出一种基于膨胀卷积神经网络的多模态融合视线估计模型.在该模型中,利用膨胀卷积设计了一种叫GENet(gaze estimation network)的网络提取眼睛的RGB和深度图像的特征图,并利用卷积神经网络的全连接层自动融合头部姿态和2种图像的特征图,从而进行视线估计.实验部分在公开数据集Eyediap上验证了设计的模型,并将设计的模型同其他视线估计模型进行比较.实验结果表明,提出的视线估计模型可以在自由的头部运动下准确地估计视线方向.     

采用空间依赖的MTDPN扶梯危险行为的姿态估计

为实现自动扶梯场景下姿态估计的快速响应和准确估计，提出一种基于空间依赖的多任务解耦姿态网络(MTDPN)。首先，对姿态估计网络进行定位和分类任务分支的解耦，使每个任务分支能够自适应地调整特征关注方向；其次，提出一种空间依赖卷积，通道联合层和空间联合层作为中间层，以逐点卷积和逐深度卷积取代传统卷积，从而降低MTDPN的参数量和浮点计算量，使每张图片的检测时间仅为73.3 ms。在扶梯危险行为关键点数据集和COCO关键点数据集上对MTDPN进行评估。结果表明：与原始网络YOLOPOSE相比，MTDPN在扶梯危险行为关键点数据集和COCO关键点数据集上的准确性指标均有所提高。     

图像识别中的深度学习模型剪枝技术

为了探索用少量的图像数据指导模型剪枝，同时缩短确定裁剪哪些卷积核的时间，该文提出了一种基于卷积核输出特征图的和值的期望进行模型剪枝的策略。将少量的图像输入剪枝前的深度学习模型中，将同一层卷积核输出的特征图根据和值的期望进行排序，按照一定的剪枝率剪去较小期望值对应的卷积核。根据该文提出的模型剪枝策略，在3个通用的公开数据集CIFAR-10、CIFAR-100、ILSVRC-2012上进行了测试，并与目前主流的一些模型剪枝算法进行了对比。实验证明，该文提出的模型剪枝策略在VGG-16-BN上参数量压缩87.3%,每秒浮点运算次数(FLOPs)压缩78.6%,该模型在CIFAR-10上仍能达到93.19%的分类识别精度。在CIFAR-100数据集上，模型剪枝策略在ResNet-56上FLOPs压缩67%,仍能达到67.96%的分类识别精度。     

基于YOLOv5s的轻量化朱鹮检测算法研究

针对当前朱鹮检测算法模型参数较多、计算量大的问题，本文设计研究了一种基于YOLOv5s的高性能轻量化网络模型。首先，结合EfficientNet网络中的MBConvBlock对原主干网络进行重构，大幅降低网络参数；同时在浅层网络中采用Stem模块，提升浅层网络的特征提取能力；然后改进卷积注意力模块(CBAM),即将其中的通道注意力替换为高效通道注意力模块(ECA),避免了降维操作，有效提取了邻近通道间的信息，且大幅降低了通道注意力的参数数量，并将其嵌入特征融合网络路径聚合网络(PANet)中，达到了引入微小参数数量而有效提升网络性能的目的，并将其命名为高效卷积注意力模块(ECBAM)。最后，在自建朱鹮数据集和公共数据集PASCAL VOC、COCO上进行实验，实验结果表明，与YOLOv5s算法相比，本文算法模型参数数量降低了52.37%,计算次数降低了54.55%,在自建朱鹮数据集上P_mAP@0.5:0.95仅降低了约2个百分点，达到0.666,在公共数据集PASCAL VOC上P_mAP@0.5达到0.792,在公共数据集COCO上P     

面向人群计数的对偶卷积神经网络

基于卷积神经网络(CNN)人群计数方法的核心是如何构建能将人群图有效映射为密度图的CNN模型,进而从密度图准确地估计出人群数量.传统构建CNN的方法只考虑了人群图到密度图的映射,并未考虑密度图到人群图的映射,以及该映射对模型性能的影响.为了解决以上问题,提出一种基于卷积神经网络的对偶模型(Dual Convolutional Neural Networks,DualCNN)以提高模型将人群图映射为密度图准确性.DualCNN包含有两个映射子模型:1)将人群图映射到密度图的卷积神经模型,2)将密度图映射到人群图的对偶卷积神经模型.在学习过程中,通过两个子模型的相互影响,进而达到提高卷积神经模型在人群计数问题上的性能.在UCF_CC_50数据集和ShangHaitech数据集上的实验结果表明,该方法能有效提升CNN的计数性能,尤其在UCF_CC_50数据集中,DualCNN将MCNN和CSRNet的平均绝对误差(MAE)分别降低15.6%和15.8%,最小均方误差(MSE)分别降低18.1%和28.8%.     

基于深度学习的图像抠图技术

图像抠图(image matting)技术是图像编辑技术的基础, 广泛应用于影视后期制作和日常生活. 基于深度学习的图像抠图网络, 通过输入的原图和三元图来估计每个像素的 $\alpha$ 值. 在原下、上采样的图像抠图技术基础上, 针对抠图数据集图像差异较大容易造成网络收敛较慢的问题, 在每个卷积层后加入了批量标准化(batch normalization, BN)层, 对输入数据进行归一化操作, 加快模型收敛速度, 同时参数更新方向更符合数据集整体特性; 针对抠图任务需要更关注物体边缘部分的特点, 使用可变形卷积(deformable convolution)层替换普通卷积层. 可变形卷积层会根据不同输入数据自适应学习卷积核形状, 有效扩大感受野范围, 在细节部分有更好的预测效果.     

一种精简的蘑菇图像分类模型

相比小型卷积神经网络(convolutional neural network, CNN)模型，现有的大型CNN模型在大型图像数据集上达到了良好的分类效果，但是在小型图像数据集上过拟合，使得精度提升小、训练时间长、存储占用高，不能很好地适应嵌入式设备.因此首先收集了一个包含4 500张图片的小型蘑菇数据集，并为蘑菇分类任务设计了轻量化的CNN模型MushroomNet.然后研究CNN模型中各部分对于分类任务的重要性，并提出基于数据复杂度的模型结构优化方法.实验表明，相比MobileNet、ShuffleNet等轻量化模型，MushroomNet-MicroV2的Top-1精度只差了1%～2%,但是它训练速度更快，存储更小，只有1.3 M的参数量，且在Apple M1 CPU上经过142 s的30轮快速训练后，Top-1验证精度可达88%.     

一种融合全局时空特征的CNNs动作识别方法

针对基于卷积神经网络(CNNs)的人体动作识别方法通常采用空域或时域局部特征的不足,提出一种融合人体动作全局时域和空间特征的双通道CNNs动作识别模型.空间通道对动作图像进行深度学习,采用多帧融合的方式提升准确率,全局时域通道对能量运动历史图(EMHI)进行深度学习,最后融合两个通道信息识别人体动作.利用现有的大型数据集进行预训练,以解决学习过程中训练样本不足问题.在UCF101数据集和该项目小样本数据集上进行实验,结果证明了该方法的有效性.     

基于改进卷积神经网络的苹果叶部病害识别

针对苹果病害叶片图像病斑区域较小导致的传统卷积神经网络不能准确快速识别的问题,提出基于改进卷积神经网络的苹果叶部病害识别的网络模型.首先,将VGG16网络模型从ImageNet数据集上学习到的先验知识迁移到苹果病害叶片数据集上;然后,在瓶颈层后采用选择性核(selective kernel,简称SK)卷积模块;最后,使用全局平均池化代替全连接层.实验结果表明:与其他传统网络模型相比,该模型能更准确快速捕获苹果病害叶片上微小的病斑.     

基于卷积神经网络的图像分类研究进展

基于卷积神经网络的图像分类算法的优势是传统方法无法比拟的。卷积神经网络利用其设计好的网络结构和权值共享的特点,能够从数量庞大的训练数据中学习图像底层到高级语义的抽象特征,而且端到端的学习省去了在每一个独立学习任务执行之前所做的数据标注。多年来,卷积神经网络经过科研人员的探索和尝试,从最开始的多层神经网络模型,演变出多种优化结构,性能不断提高。本文介绍了基于卷积神经网络图像分类算法的研究进展,叙述了卷积神经网络在图像分类中的经典模型和近年来的改进方法,并对各个模型进行分析,展示各种方法在ImageNet公共数据集上的性能表现,最后对基于卷积神经网络的图像分类算法的研究进行总结和展望。     

基于深度学习的树种图像自动识别

【目的】为了探究深度学习方法用于林业树种图像智能识别的可行性,提出一种基于深度学习方法的自动识别树种新方法。在TensorFlow框架下,对卷积神经网络(CNN)模型进行改进,对7类树种图像进行自动识别研究。【方法】首先,在图像库建立时,为增加特征选择多样性,选择树木的树皮和树叶图像,保留自然背景;另外,考虑到同一树种在不同树龄条件下树皮图像存在差异,因此加入不同树龄的树皮图像,并用胸径指标来表示树龄大小。其次,对每类树种图像随机挑选100张作为测试集,剩余数据集全部作为训练集。通过反复试验比较不同CNN结构设置、卷积层数量、全连接层层数、学习率等对结果的影响。采用Adam算法代替传统的随机梯度下降(SGD)算法,对模型进行优化,用指数衰减法对学习率进行调节,在交叉熵函数中加入L2正则项对权重进行惩罚,并采用Dropout策略和ReLU激励函数,以避免训练过程中过拟合现象。最后,确定适合试验要求的13层CNN结构,同时比较深度学习方法和传统人工特征识别方法的差异,与已有的树种图像识别方法做对比。【结果】提出的13层树种图像识别模型,对训练集和测试集取得了理想的识别效果,识别率分别为96.78%、91.89%,在未参与训练的验证集上取得了96%的平均准确率。相对于已有的人工特征识别方法,所提出的方法识别效率和准确度更高。【结论】基于改进的卷积神经网络树种识别模型识别效果明显高于传统方法,说明所提出的方法能够应用于树种识别,可为林业树种图像自动识别提供一条新思路。     

KCPStack:张量分解的卷积核分层矩阵压缩方法

针对现有张量分解卷积核压缩方法难以兼顾时空轻量化、过于依赖卷积瓶颈结构等问题,提出一种具有可观压缩与加速能力的卷积核分层矩阵压缩方法(KCPStack)。首先,在矩阵乘法视角下,将卷积核按通道拆分为2阶克罗内克规范多项式(KCP)分解,所得因子张量组合为两层权重矩阵,使卷积计算转换为具有较高推理效率的双层轻量卷积结构;其次,对比所提KCPStack方法与其他典型张量分解卷积核压缩方法的参数约减空间复杂度与推理计算时间复杂度;最后,基于RK3588神经处理单元进行KCPStack方法的部署,面向实际场景目标检测识别需求开发相关应用。实验结果表明：与现有张量分解方法相比,在张量秩相同或者参数量相当的前提下,所提KCPStack方法具有最快的推理计算效率;在图像分类标准数据集CIFAR-10和ImageNet上,KCPStack方法能够将精度损失控制在1%左右,最高可减少85.0%的参数量和79.8%的计算量;在目标检测识别标准数据集COCO上,KCPStack方法相对于基线模型的平均精度下降不超过1%;采用所提KCPStack方法对实际场景进行目标检测识别,在RK3588神经处理单元上能达...     

基于探地雷达的沥青路面内部病害快速识别

为了提高沥青路面内部病害的检测精度及效率,开展了路面探地雷达(GPR)图像的自动识别研究．采用三维探地雷达(3D-GPR)设备高效、无损地探测沥青路面内部结构,以获取海量3D-GPR图像数据;通过多维度GPR图像辨识内部病害(横向裂缝和层间不良)的回波特征,矩形框准确标注纵断面GPR图中病害特征,进而构建内部病害回波特征GPR图像数据集(训练集、验证集和测试集);基于深度学习技术,引入YOLOv4(you only look once version 4)算法模型,首先利用训练集和验证集完成模型网络参数的迭代更新,然后利用测试集进行模型综合检测性能评估．研究结果表明：YOLOv4模型在测试集上测试的综合检测精度大于95%,并且其检测视频的每s帧数也超过30;而层间不良的回波特征相对内部横向裂缝识别更加准确;该模型可以实时、高精度自动识别出沥青路面GPR图像中病害回波特征．     

目标跟踪中基于深度可分离卷积的剪枝方法

为了减少跟踪网络中存在的参数量和计算量大的问题,提出了基于深度可分离卷积的剪枝方法。深度可分离卷积将跟踪网络中的传统卷积层分解为逐点卷积和逐层卷积两部分。在逐点卷积中,通过逐点卷积层中权重的大小来评估输入特征图通道在线性组合中的重要程度,将较小的权重及其关联的特征通道裁减掉。在逐层卷积中,通过K-L散度来衡量逐层卷积中滤波器的相似性,将相似的滤波器裁剪掉,减少冗余。通过上述方法进行多轮迭代剪枝,从而减少跟踪网络的参数量和计算量。在VOT数据集上的实验结果表明,在精度没有下降的前提下,剪枝后网络的参数量下降了22.54%,计算量下降了17.8%。在NVIDIA TX2设备上的实验结果表明,剪枝后网络的跟踪速度在CPU上提升了14.95%,在GPU上提升了13.07%。     

基于轻量化神经网络的公路监控场景天气识别研究

针对深层卷积神经网络模型参数量大、对硬件设备要求高而难以部署于边缘端的问题,本文结合高速公路监控图像这一应用场景,对基于轻量化神经网络的天气识别算法进行研究.首先对经典的轻量化神经网络模型MobileNet进行理论分析,由参数量和计算次数的角度分析其深度可分离卷积与标准卷积操作的不同.同时,收集并标注基于公路监控图像的...     

一种基于深度卷积神经网络的摄像机覆盖质量评价算法

随着视频监控系统的大规模普及,视频监控系统的效用评价成为一个重要的研究课题.当前视频监控系统评价只考虑了摄像机的覆盖率,缺少对摄像机覆盖质量的量化评价.该文提出了一种基于深度卷积神经网络的监控摄像机覆盖质量评价算法.将摄像机覆盖质量评价问题转化为对摄像机所采集视频帧的质量评价问题,探讨了基于视频帧的摄像机覆盖质量等级的分级策略,标注了一个摄像机视频帧质量等级数据集; 设计了一种新颖的多维标签赋值方法,利用深度卷积网络学习鲁棒的视频帧表示,进一步基于支持向量回归机(SVR)学习视频质量回归函数,从而实现对摄像机覆盖质量的鲁棒估计.实验结果表明:该算法能够准确地对监控摄像机的覆盖质量进行自动评测,有效监测了摄像机监控质量的实时变化.     

基于深度学习的偏光片缺陷实时检测算法

针对现有的基于深度学习检测缺陷的方法虽然可以保证分类的准确率,但其检测速度慢,模型占用内存大,难以满足在线检测系统的实时性要求等问题,提出了一种基于深度学习的偏光片缺陷实时检测算法。首先,设计了一个新的并行模块用于构建偏光片缺陷检测网络,模块将不同尺寸大小的卷积核相混合,与传统的卷积层相比,可以融合不同尺度的特征并能提取到更丰富的缺陷特征;用深度可分离卷积替代模块中的标准卷积,这可以大大减少网络的参数量和乘法累计运算量(MACCs).其次,用非对称卷积代替并行模块中的深度可分离卷积得到并行非对称卷积模块,可以进一步减少网络的参数量。最后,使用全局均值池化层代替全连接层,大大减少了网络的参数量。实验结果表明,偏光片缺陷分类模型平均每张图片的测试时间为108 ms,模型在测试集上的准确率达到99.4%,同时模型占用内存为0.583 MB,能够满足工业中偏光片缺陷检测的实时性要求。     

基于情感轮和多任务卷积神经网络的图像情感分布学习

图像情感分布学习可以对多种情绪同时进行建模,但现有的模型缺乏有效的方法直接考虑情绪之间的相关性.针对这一问题,该文提出一种基于情感轮和多任务卷积神经网络(EW-MTCNN)的图像情感分布学习模型,通过先验知识模块将心理学情感知识直接引入到深度神经网络中.基于Mikel's情感轮定义成对情绪之间的相关性,EW-MTCNN模型采用多任务卷积神经网络学习情绪之间的相关性信息,同时优化情感分布预测和情绪分类任务.EW-MTCNN模型由3个模块组成,3个模块分别是图像特征提取层、情感轮先验知识层和多任务损失层.在情感分布数据集(Emotion6)和单标签数据集(Artphoto)上进行对比实验的结果表明:EW-MTCNN模型在情感分布预测与情绪分类任务上比其他情感分布学习方法具有更优的性能.     

基于深度学习的青椒质量分类

针对目前青椒体型小、数量多、质量分类困难的问题,提出了利用深度学习中的卷积神经网络来解决青椒质量分类的方法。该方法无需消耗大量人力资源,直接将青椒图像作为输入,模型自动从训练数据中提取有利于区分青椒质量的图像特征。研究结果表明,当使用3 200张青椒图片作为训练数据时,得到的训练模型在含有960张图片的独立验证集上的识别准确率达到了97.60%。这为青椒质量分类问题提供了一种新的解决办法,同时也可用于其他瓜果蔬菜的质量识别问题。     

多尺度光照估计和层次化分类的衣着颜色识别

衣着颜色是行人最显著的表观特征,在视频监控场景中极易受到光照变化的影响.为此,笔者提出了一种基于多尺度光照估计和层次化分类的衣着颜色识别方法.首先,提出一种多尺度局部反射统计的光照估计模型,通过该模型实现对偏色图像的光照矫正;其次,为了精确地识别衣着颜色,设计基于融合多颜色空间特征的层次化分类器;最后,在校园监控场景采集4 998张行人衣着图像(晚上2 052张,白天2 946张)进行对比实验.实验结果表明,该方法能有效提高监控视频中衣着颜色识别准确率且至少提高12.5%.