一种基于多尺度融合卷积神经网络的人群计数方法

人群间的相互遮挡和多变的空间尺度是基于单幅图像人群计数算法面临的主要挑战.近年来,基于深度学习的人群计数算法在该问题上取得了显著的成效,然而越来越深的网络结构给模型的训练和应用带来了困难.为了解决上述问题,提出了一种基于多尺度融合卷积神经网络(multi-scale fusion convolution neural network,MSF-CNN)的人群计数方法.方法采用三列不同大小卷积核的卷积神经网络来提取不同空间尺度的图像特征,同时在网络结构中引入融合层将提取到的特征进行融合并求取密度图,最后对密度图积分求和得到人群数量.在ShanghaiTech数据集及UCF_CC_50数据集上的实验结果表明,该方法能够适应复杂的场景,有效减少人群间相互遮挡和空间尺度的变化对计数结果的影响,同时模型易于训练,明显优于现有人群计数方法.     

基于局部-全局双分支网络的密集人群计数方法

基于卷积神经网络的人群计数方法促使人群计数精度取得了显著提高. 然而,密集人群中的人头尺度变化与复杂环境干扰仍是影响网络计数精度的主要因素. 本文提出了一种基于局部-全局双分支网络对密集人群计数. 局部分支主要由尺度感知特征提取模块实现,以建模密集人群中人头的尺度变化. 全局分支主要由位置感知注意力模块实现,以增强网络对人群与背景之间的判别力. 提取到的局部特征与全局特征会送入特征融合分支处理,回归人群密度图. 本文方法在3个常用的人群计数数据集与一个遥感目标计数数据集上进行了实验. 定量与定性结果表明了本文方法的有效性.      

使用候选框进行全卷积网络修正的目标分割算法

由于反卷积和上池化操作的存在,传统全卷积网络在解码阶段常常会丢失目标位置信息,降低图像的分割精度.针对这种情况,提出基于候选框网络对全卷积网络的输出进行缺陷位置微调的液晶面板缺陷分割算法.算法基于ResNet-101网络搭建全卷积主干网络,此构建2个分支,候选框生成网络和反卷积网络.在反卷积网络的输出层中使用多通道分类损失函数,输出关于每种缺陷的类别分割图.同时利用候选框网络产生高置信度的目标框,以此框对反卷积网络输出的类别分割图进行逐通道修正,使用修正后的多通道缺陷类别分割图进行逐像素分类,得到最终分割结果.实验结果表明,该算法对液晶面板缺陷的分割取得了7.5％的精度提升,边缘分割更加精细化.     

面向人群计数的对偶卷积神经网络

基于卷积神经网络(CNN)人群计数方法的核心是如何构建能将人群图有效映射为密度图的CNN模型,进而从密度图准确地估计出人群数量.传统构建CNN的方法只考虑了人群图到密度图的映射,并未考虑密度图到人群图的映射,以及该映射对模型性能的影响.为了解决以上问题,提出一种基于卷积神经网络的对偶模型(Dual Convolutional Neural Networks,DualCNN)以提高模型将人群图映射为密度图准确性.DualCNN包含有两个映射子模型:1)将人群图映射到密度图的卷积神经模型,2)将密度图映射到人群图的对偶卷积神经模型.在学习过程中,通过两个子模型的相互影响,进而达到提高卷积神经模型在人群计数问题上的性能.在UCF_CC_50数据集和ShangHaitech数据集上的实验结果表明,该方法能有效提升CNN的计数性能,尤其在UCF_CC_50数据集中,DualCNN将MCNN和CSRNet的平均绝对误差(MAE)分别降低15.6%和15.8%,最小均方误差(MSE)分别降低18.1%和28.8%.     

基于时空感知级联神经网络的视频前背景分离

针对在复杂情景下视频前背景分离技术中存在的前景泄露问题,设计开发了一个端对端的二级级联深度卷积神经网络,实现了对输入视频序列进行精确的前景和背景分离.所提网络由一级前景检测子网络和二级背景重建子网络串联而成.一级网络融合时间和空间信息,其输入包含2个部分:第1个部分是3张连续的彩色RGB视频帧,分别为上一帧、当前帧和下一帧;第2个部分是3张与彩色视频帧相对应的光流图.一级前景检测子网络通过结合2部分输入对视频序列中运动的前景进行精确检测,生成二值化的前景掩膜.该部分网络是一个编码器-解码器网络:编码器采用VGG16的前5个卷积块,用来提取两部分输入的特征图,并在经过每一个卷积层后对两类特征图进行特征融合;解码器由5个反卷积模块构成,通过学习特征空间到图像空间的映射,从而生成当前帧的二值化的前景掩膜.二级网络包含3个部分:编码器、传输层和解码器.二级网络能够利用当前帧和生成的前景掩膜对缺失的背景图像进行高质量的修复重建.实验结果表明,本文所提时空感知级联卷积神经网络在公共数据集上取得了较其他方法更好的结果,能够应对各种复杂场景,具有较强的通用性和泛化能力,且前景检测和背景重建结果显著超越多种现有方法.     

一种多列特征图融合的深度人群计数算法

针对复杂开放环境下人群密度估计中的多尺度目标和小目标感知问题,提出了一种基于特征图融合的多列卷积神经网络的人群密度估计算法.所提出的特征图融合方式,一方面综合利用高层语义特征与底层细节特征,实现了对小目标的感知;另一方面大幅提高基础网络集成数量以应对目标多尺度问题,最终提高了人群密度估计的准确性.实验结果表明,所提算法有效提高了密集开放场景中人群计数的准确性.     

结合目标检测的小目标语义分割算法

卷积神经网络(Convolutional Neural Networks,CNN)可以提供比传统分类算法更强大的分类器并且能够自学习得到深层特征,有效地提高了图像语义分割的准确性.然而,基于CNN的语义分割算法依然存在一些挑战,例如在复杂场景中现有较优的方法较难分割小目标.为了解决复杂场景下小目标分割的难题,提出一种结合目标检测的小目标语义分割算法.与现有较优方法不同的是,该方法没有直接利用单个神经网络模型同时分割单幅图像中的小尺寸和较大尺寸目标,而是将小目标分割任务从完整图像的分割任务中分离.算法首先训练一个目标检测模型以获取小目标图像块,然后设计一个小目标分割网络得到图像块的分割结果,最终根据该结果修正整体图像的分割图.该算法提升了语义分割数据集的总体性能,同时能够有效地解决小目标分割的难题.     

基于边缘特征融合和跨连接的车道线语义分割神经网络

无人驾驶中的车道线检测任务需要同时确定车道线的位置、颜色和线型,而现有方法通常仅识别车道线的位置,不识别车道线的类型.为了端到端地解决这一问题,设计了一种语义分割神经网络,将一幅图像中不同车道线分割为不同区域,用每个区域的类别标签表示其对应的车道线类型.首先,在主流的编码器-解码器框架下,构建了一个结构较为简单的基础网络.考虑到边缘特征是车道线检测中的重点,为基础网络的编码器并联了一个边缘特征提取子网络,通过逐层融合边缘特征图和原始特征图增强车道线的特征.边缘特征提取子网络的结构与基础网络的编码器相同,其输入是对车道线图像进行Sobel滤波的结果.此外,编码器和解码器对称位置的卷积层输出的特征图尺寸相同,但具有不同的语义层级.为了更好地利用这一特性,建立从编码器到解码器对称位置的跨连接,在解码器逐层上采样的过程中融合编码器对应尺寸的特征图.在TSD-Lane车道线检测数据集上的实验表明,相比于基础网络,基于边缘特征融合和跨连接的神经网络的分割性能得到了较为显著的提高.该网络具有较好的车道线分割性能,能够在确定车道线位置的同时,区分黄线或白线、虚线或实线.在计算资源充足的前提下,该网络能够达到实时的检测速度.     

编码-解码多尺度卷积神经网络人群计数方法

针对基于多列卷积神经网络的人群计数方法存在的多尺度特征信息丢失、融合不佳以及密度图质量不高等问题,提出了一种编码-解码结构的多尺度卷积神经网络人群计数方法。编码器采用多列卷积捕获多尺度特征,通过空洞空间金字塔池化扩大感受野并减少参数量,保留尺度特征和图像的上下文信息;解码器对编码器输出进行上采样,实现高层语义信息和编码器前端低层特征信息有效融合,从而提升了密度图的输出质量。为增强网络对计数的敏感性,在以往像素空间损失的基础上考虑了计数误差,提出了一种新型损失函数。采用Shanghai Tech、Mall以及自建数据集进行了对比实验,结果表明:与之前最优方法相比,所提方法在Shanghai Tech数据集Part_A部分的平均绝对误差和均方误差分别降低了8.3%和21.3%,Part_B部分分别降低了12.9%和12.0%,Mall数据集分别降低了15.1%和23.8%,自建数据集分别降低了13.5%和7.1%;在不同人群场景下,所提方法的人群计数准确性和鲁棒性均优于其他对比方法的。     

低剂量CT图像去噪的改进型残差编解码网络

针对低剂量CT图像中存在复杂噪声与伪影的问题,提出了一种用于低剂量CT图像去噪的改进型残差编解码网络.原始的残差编解码网络由一系列卷积层与反卷积层组成,且通过短连接结构学习残差.改进措施主要包括3个方面:首先,引入了批量归一化提高网络的去噪效果;其次,使用空洞卷积替换普通卷积,从而有效减少了网络中参数的数量;最后,对网络隐层中的特征图数量进行了调整,进一步优化了网络性能与复杂度.实验结果表明:改进后的网络复杂度降低,去噪效果得到提升.     

基于语义分割技术的任意方向文字识别

针对现有文本检测与定位方法只能处理单一方向文本行的缺点,提出了一种基于语义分割方法的用于自然图像中文本检测的新方法。首先通过对现有检测方法以及目前语义分割方法在文本行检测中的局限性分析。然后对加入矩形卷积核的全卷积网络模型进行训练,获得文本行区域的分类图。最后,通过全连接条件随机场(conditional random field,CRF)的高精度分割能力将网络前端输出的文本行区域中的文字给区分出来。该框架用于处理任意方向、语言和字体中的文本。所提出的方法在MSRA-TD500和ICDAR2015两个文本检测数据集上获得良好的分割结果且性能优越。     

基于RetinaNet深度学习模型的火焰检测研究

鉴于卷积神经网络能够自动学习和获取图像特征,提出一种基于RetinaNet模型的火焰检测算法.首先RetinaNet在残差网络之上使用特征金字塔网络作为骨干网计算和生成丰富的卷积特征金字塔,然后通过分类子网络和边框预测子网络分别对骨干网的输出进行分类和回归,通过调整训练策略和参数,最后在自建数据集上使用该算法得到的火焰检测模型实现了实时的端到端火焰识别与定位,对复杂目标背景下的小火点检测也保持较高的检测准确率,对火灾初期的检测预警有一定的实用意义.     

一种基于深度学习的实时视频图像背景替换方法

针对视频会话业务的实时性需求,提出一种轻量级深度学习网络模型实现视频图像的实时背景替换功能.网络模型包含语义分割和背景替换两个模块.语义分割模块整体架构采用编解码结构,编码端使用编码器模块、空洞卷积金字塔池化模块、注意力模块以及增益模块提取特征;解码端使用解码器模块、调整模块以及编码器模块恢复图像,再传入背景替换模块完成背景替换.该网络模型在本文设定的数据集训练后分割精确度达到94.1%,分割速度达到42.5帧/s,在实时性和准确性上达到较好的平衡,具有很好的实用效果.     

基于密度自适应深度网络的点云场景语义分割算法

由于传感器噪声干扰，点云密度不均匀，场景复杂多样以及物体之间存在遮挡现象等问题，使得三维点云场景语义分割问题的研究工作极具挑战性。针对三维点云数据采样密度不均匀以及图卷积网络深度有限的问题，提出一种密度自适应的方法。该方法通过多层感知器学习一个权重函数，利用核密度估计学习一个密度函数，对非均匀采样的点云数据进行卷积操作。同时，受深度学习在图像领域的启发，引入残差连接、空洞卷积等结构，训练更深层的点云分割网络。该算法在多个点云分割的标准数据集上取得了优秀的性能。     

一种改进的卷积神经网络的室内深度估计方法

针对单幅图像的室内深度估计缺少显著局部或全局特征问题,提出了一种基于多种网络(全卷积网络分别与通道注意力网络、残差网络结合)构成的编码器解码器结构.该网络采用端到端的学习框架.首先使用全卷积网络与通道注意力网络结合的全卷积通道注意力网络模块作为编码器,通过信道信息获取全局感受野,提高特征图精度,并适当地将全连接层改为卷积层以达到减少网络参数的目的.然后将全卷积网络与残差网络结合构成的上采样模块作为解码器,利用ResNet的特点——跳层连接,将解码器网络加深,提高深度图的精度,将卷积网络与残差网络结合,实现端对端,并减少网络运行所用时间.最后,使用L1损失函数优化模型.在公开数据集NYUDepth v2的测试下,实验结果表明,和现有的其他单目深度估计方法相比,本文所提出的网络模型不仅精简了繁琐的精化粗图的过程,而且所预测的深度图精度更高,阈值精度的提升不少于0.5%,运行网络结构的平均用时21 ms,为实现实时性奠定了基础,具有一定的理论研究价值和实际应用价值.     

嵌入DenseNet结构和空洞卷积模块的改进YOLO v3火灾检测算法

为解决现有火灾检测算法无法同时满足高检测率、低误报率以及高实时性的检测需求的问题,提出了一种基于卷积神经网络的改进YOLOv3目标检测算法,通过深度卷积神经网络自动提取火焰特征对全图进行多尺度特征图预测.首先,针对网络公开火灾数据集数量较少、场景种类受限、火焰尺度单一等问题,自建了一个包含13 573张火灾图片的火灾数据集用于对模型进行训练和测试,其中训练集图片10 014张,测试集图片3 559张.接着,为了提升网络对于多尺度目标(尤其是小尺度目标)火焰的特征提取效果,通过在原YOLOv3的特征提取网络Darknet-53中嵌入空洞卷积模块以充分利用上下文信息,扩增感受野的同时保证不丢失特征图的分辨率.此外,在特征提取网络中加入DenseNet密集型连接网络结构单元,以增强特征复用,同时缓解深度卷积神经网络在特征传播过程中的梯度消失问题.该改进的特征提取网络相比原网络层数进一步加深,网络参数量显著减少.结合火灾检测任务需求实际,简化了损失函数,加快了网络的收敛速度.实验结果表明:该算法检测速度快,检测精度高,不仅能够实时检测大尺度火焰,对于火灾发生初期的小尺度火焰也同样检测灵敏,其检测速度可达26.0帧/s,精确率可达97%,且在多种复杂光照环境下均能良好地抑制误报.     

基于Mask R-CNN的满文文档版面分析

提出一种基于Mask R-CNN深度学习框架的满文文档版面分析方法,将满文文档版面分析问题转化为基于深度学习的图像实例分割问题。使用ResNet101网络和FPN网络构成的卷积神经网络自动提取满文文档图像特征,特征图经过RPN网络和RoI Align层生成新的特征图。新特征图经过全连接层完成感兴趣区域的类别和边框预测,并经过全卷积神经网络对感兴趣区域的像素进行分类得到mask预测,最终实现满文文档图像的实例分割。通过《新满汉大辞典》的文档图像构建了满文文档图像数据集,算法在该满文文档图像数据集上进行了实验。实验结果表明,本算法在满文文档版面分析中取得了较好的检测和分割效果。     

基于情感轮和多任务卷积神经网络的图像情感分布学习

图像情感分布学习可以对多种情绪同时进行建模,但现有的模型缺乏有效的方法直接考虑情绪之间的相关性.针对这一问题,该文提出一种基于情感轮和多任务卷积神经网络(EW-MTCNN)的图像情感分布学习模型,通过先验知识模块将心理学情感知识直接引入到深度神经网络中.基于Mikel's情感轮定义成对情绪之间的相关性,EW-MTCNN模型采用多任务卷积神经网络学习情绪之间的相关性信息,同时优化情感分布预测和情绪分类任务.EW-MTCNN模型由3个模块组成,3个模块分别是图像特征提取层、情感轮先验知识层和多任务损失层.在情感分布数据集(Emotion6)和单标签数据集(Artphoto)上进行对比实验的结果表明:EW-MTCNN模型在情感分布预测与情绪分类任务上比其他情感分布学习方法具有更优的性能.     

采用空间依赖的MTDPN扶梯危险行为的姿态估计

为实现自动扶梯场景下姿态估计的快速响应和准确估计，提出一种基于空间依赖的多任务解耦姿态网络(MTDPN)。首先，对姿态估计网络进行定位和分类任务分支的解耦，使每个任务分支能够自适应地调整特征关注方向；其次，提出一种空间依赖卷积，通道联合层和空间联合层作为中间层，以逐点卷积和逐深度卷积取代传统卷积，从而降低MTDPN的参数量和浮点计算量，使每张图片的检测时间仅为73.3 ms。在扶梯危险行为关键点数据集和COCO关键点数据集上对MTDPN进行评估。结果表明：与原始网络YOLOPOSE相比，MTDPN在扶梯危险行为关键点数据集和COCO关键点数据集上的准确性指标均有所提高。     

基于区域信息的悬浮细胞识别与计数

悬浮细胞的培养过程需要对活细胞计数.针对人工计数方法存在的缺陷,利用图像分析技术对拍摄的细胞图片进行处理,实现活细胞自动识别及计数.要实现细胞识别,首先要对图像进行正确分割.对于前景和背景对比度较小且细胞很稀疏的图像,采用背景拟合设定阈值进行分割;针对前景和背景对比度较大的图像,采用一种基于局部区域直方图的方法进行分割.对分割后的图像进行链码跟踪并测量细胞参数,最终实现细胞识别及计数.实验结果表明上述方法能快速有效地计算出活细胞个数.