一种多列特征图融合的深度人群计数算法

针对复杂开放环境下人群密度估计中的多尺度目标和小目标感知问题,提出了一种基于特征图融合的多列卷积神经网络的人群密度估计算法.所提出的特征图融合方式,一方面综合利用高层语义特征与底层细节特征,实现了对小目标的感知;另一方面大幅提高基础网络集成数量以应对目标多尺度问题,最终提高了人群密度估计的准确性.实验结果表明,所提算法有效提高了密集开放场景中人群计数的准确性.     

基于轻量化的高分辨率鸟群识别深度学习网络

针对机场低空区域鸟类对飞行器起飞和降落带来的安全问题,提出一种轻量型高分辨率的鸟群场景识别网络,用于实现鸟群的计数和定位．该网络以高分辨率网络为基础框架,使用非对称卷积和Ghost模块对网络进行轻量化,并在网络的第四阶段引入联合金字塔上采样模块,提升模型对多尺度特征的融合能力．进一步提出联合使用负样本抑制损失函数,用于监督网络的训练过程,使网络更加关注于鸟类目标．将所提出的模型在鸟群数据集上进行实验,实验结果表明：本方法可以有效对鸟群进行计数和定位,并在模型性能和模型参数量上达到了平衡．为进一步验证所提出方法的有效性,在两个人群数据集(Shanghai Tech,UCF-QNRF)上进行训练与测试,证明其具有较高的准确性和鲁棒性．     

基于局部-全局双分支网络的密集人群计数方法

基于卷积神经网络的人群计数方法促使人群计数精度取得了显著提高. 然而,密集人群中的人头尺度变化与复杂环境干扰仍是影响网络计数精度的主要因素. 本文提出了一种基于局部-全局双分支网络对密集人群计数. 局部分支主要由尺度感知特征提取模块实现,以建模密集人群中人头的尺度变化. 全局分支主要由位置感知注意力模块实现,以增强网络对人群与背景之间的判别力. 提取到的局部特征与全局特征会送入特征融合分支处理,回归人群密度图. 本文方法在3个常用的人群计数数据集与一个遥感目标计数数据集上进行了实验. 定量与定性结果表明了本文方法的有效性.      

多尺度卷积神经网络的图像超分辨率重建算法

为利用多尺度信息重建超分辨率图像,提出多尺度卷积神经网络的图像超分辨率重建算法。算法利用不同尺度的卷积核提取图像特征,为图像重建提供不同大小的邻域信息;用瓶颈层融合多尺度特征图,增强网络非线性表示能力,降低中间层输出的维数,提高图像的超分辨率重建性能。多个测试集上的实验结果表明,多尺度卷积神经网络算法优于现有的单幅图像超分辨率方法。     

融合词汇特征的生成式摘要模型

生成过程中利用词汇特征(包含n-gram和词性信息)识别更多重点词汇内容,进一步提高摘要生成质量,提出了一种基于sequence-to-sequence(Seq2Seq)结构和attention机制的、融合了词汇特征的生成式摘要算法。算法的输入层将词性向量与词向量合并后作为编码器层的输入,编码器层由双向LSTM组成,上下文向量由编码器的输出和卷积神经网络提取的词汇特征向量构成。模型中的卷积神经网络层控制词汇信息,双向LSTM控制句子信息,解码器层使用单向LSTM为上下文向量解码并生成摘要。实验结果显示,在公开数据集和自采数据集上,融合词汇特征的摘要生成模型性能优于对比模型,在公开数据集上的ROUGE-1,ROUGE-2,ROUGE-L分数分别提升了0.024,0.033,0.030。因此,摘要的生成不仅与文章的语义、主题等特征相关,也与词汇特征相关,所提出的模型在融合关键信息的生成式摘要研究中具有一定的参考价值。     

多尺度时空信息融合驱动的图神经网络故障诊断方法

行星齿轮箱作为机械系统中常见的减速装置,由于长期在强噪声环境和变工况工作条件下运行,导致采集到的振动信号故障特征微弱、信号模式多变难以识别,针对行星齿轮箱故障诊断效果不佳,泛化能力差的问题,提出一种多尺度时空信息融合驱动的图神经网络故障诊断方法来提高故障诊断模型准确率和泛化能力。该方法首先构建多尺度卷积核对原始时序信号进行不同尺度特征提取,削弱强噪声信号对有效信息的掩盖作用并增强故障特征的表达能力;然后再构造通道注意力机制,根据通道特征重要程度,给不同尺度卷积核提取的特征自适应分配不同权重,对含有关键故障特征的信息片段进行特征强化;最后对卷积输出的多尺度特征,构造空域下的图数据并通过图卷积网络聚合多尺度特征,从而有效利用数据的时序多维信息和空域结构关联信息,实现多尺度下时空域故障信息的深度融合,提高诊断的准确精度和模型的泛化性能。通过利用具有行星齿轮箱结构的风电装备故障数据集对所提方法进行验证,并与其他深度学习方法（第一层宽卷积核深度卷积神经网（WDCNN）、长短时记忆网络（LSTM）、残差网络（ResNet）、多尺度卷积神经网络（MSCNN））进行比较,结果表明：本研究提出的方法在跨...     

基于多尺度特征融合的单目图像深度估计

为解决从单目图像中很难恢复出准确、有效深度信息的问题,提出一种多尺度特征融合的单目图像深度估计算法.算法采用端对端训练的卷积神经网络(CNN)结构,引入从图像编码器到解码器的跳层连接来实现在不同尺度上特征的提取和表达,设计了一种多尺度的损失函数来提升卷积神经网络的训练效果.通过在NYU Depth V2室内场景深度数据集和KITTI室外场景深度数据集上的训练、验证和测试,实验结果表明:提出的多尺度特征融合方法得到的深度图边缘清晰、层次分明,且在室内场景和室外场景中均能适用,具有较强的泛化性,可以适应多种实际场景的需求.     

改进残差神经网络在遥感图像分类中的应用

针对传统卷积神经网络随着深度加深而导致网络退化以及计算量大等问题,提出一种改进残差神经网络的遥感图像场景分类方法。该方法以残差网络ResNet50作为主框架,在残差结构中引入深度可分离卷积和分组卷积,减少了网络的参数量和计算量,加快模型收敛的同时也提升了分类精度。此外在网络中嵌入多尺度SE block模块对通道特征进行重校准,提取出更加重要的特征信息,进一步提升了网络的分类性能。在AID和UCMerced_Land Use两个公开数据集上的分类精度分别为91.92%和93.52%,相比常规残差网络分类精度分别提高了3.38%和10.24%,证明所提方法在遥感图像场景分类任务中的可行性和有效性。     

多尺度空洞卷积金字塔网络建筑物提取

为改善现有深度学习方法获取图像特征尺度单一、提取精度较低等问题,提出多尺度空洞卷积金字塔网络建筑物提取方法。多尺度空洞卷积金字塔网络以U-Net为基础模型,编码-解码阶段采用空洞卷积替换普通卷积扩大感受野,使得每个卷积层输出包含比普通卷积更大范围的特征信息,以利于获取遥感影像中建筑物特征的全局信息,金字塔池化模块结合U-Net跳跃连接结构整合多尺度的特征,以获取高分辨率全局整体信息及低分辨率局部细节信息。在WHU数据集上进行提取实验,交并比达到了91.876%,相比其他语义分割网络交并比提升4.547%～10.826%,在Inria数据集上进行泛化实验,泛化精度高于其他网络。结果表明所提出的空洞卷积金字塔网络提取精度高,泛化能力强,且在不同尺度建筑物提取上具有良好的适应性。     

基于编码器-解码器的离线手写数学公式识别

提出一种改进的编码器 解码器模型。模型采用多尺度密集卷积网络作为编码器,以提取手写数学公式图像的多分辨率特征。采用完全基于注意力机制的Transformer模型作为解码器,依据图像特征将二维手写数学公式解码为一维 LaTeX 序列。通过相对位置编码嵌入图像位置信息和LaTeX符号位置信息。实验结果表明,模型在官方CROHME 2014数据集上取得了优异的性能,相比于当前最先进的方法,其公式识别准确率提高了3.55%,字错误率降低了1.41%。     

基于Finger-mixNet的指纹识别算法研究

针对传统指纹识别方法存在准确率低、推理速度慢等问题,提出了一种应用于指纹识别和匹配的深度学习模型Finger-mixNet指纹识别算法。Finger-mixNet模型基于卷积神经网络和Transformer结构进行关联融合,包括两个核心模块共同表征指纹识别任务的深度特征。Network-C模块基于卷积神经网络获取浅层纹理特征,Network-TC模块基于自注意力机制和卷积共同捕捉指纹深度特征信息,在获得对重点区域注意力的同时,具有比传统卷积更小的计算开销。为证明模型的有效性,在自建的指纹数据集和公共数据集中对模型进行了测试,在自建数据集中Finger-mixNet达到了97.1%的识别准确率,在公共数据集中也取得了98.3%的识别准确率,除此之外Finger-mixNet在保持高识别率同时在上述两种数据集中均能保持200FPS的识别速度。     

多尺度并行融合的轻量级卷积神经网络设计

针对传统深度卷积神经网络分类精度不佳,参数量巨大,难以在内存受限的设备上进行部署的问题,本文提出了一种多尺度并行融合的轻量级卷积神经网络架构PL-Net。首先,将上层输出特征图分别送入两种不同尺度的深度可分离卷积层;然后对并行输出特征信息进行交叉融合,并加入残差学习,设计了一种并行轻量型模块PL-Module;同时,为了更好地提取特征信息,利用尺度降维卷积模块SR-Module来替换传统池化层;最后将上述两个模块相互堆叠构建轻量级网络。在CIFAR10、Caltech256和101_food数据集上进行训练与测试,结果表明:与同等规模的传统CNN、MobileNet-V2网络及SqueezeNet网络相比,PL-Net在减少网络参数的同时,提升了网络的分类精度,适合在内存受限的设备上进行部署。     

基于空洞卷积和特征融合的单阶段目标检测算法

针对SSD多尺度目标检测过程中存在的目标漏检和错检问题,提出了一种融入多维空洞卷积和多尺度特征融合的目标检测算法。在卷积神经网络输出的多尺度特征中,浅层具有更多的细节信息,深层具有更多的语义信息,根据这一特点,对浅层网络采用了3种多维空洞卷积的浅层特征增强模块,获得具有语义信息的特征图,将增强后的特征图进行下采样,融合不同层的特征;同时在深层网络引入通道注意力模块,对通道进行权重分配,抑制无用信息,提高目标的检测性能。研究结果表明：该算法在PASCAL VOC数据集上检测精度为79.7%,比SSD算法提高了2.4%;在KITTI数据集上检测精度为68.5%,比SSD算法提高了5.1%,检测速度达到了实时性的要求,有效地改善了目标的漏检和错检。     

一种基于多尺度融合卷积神经网络的人群计数方法

人群间的相互遮挡和多变的空间尺度是基于单幅图像人群计数算法面临的主要挑战.近年来,基于深度学习的人群计数算法在该问题上取得了显著的成效,然而越来越深的网络结构给模型的训练和应用带来了困难.为了解决上述问题,提出了一种基于多尺度融合卷积神经网络(multi-scale fusion convolution neural ...     

基于多特征融合卷积神经网络的人脸表情识别

针对卷积神经网络特征提取不够充分且识别率低等问题,提出了一种多特征融合卷积神经网络的人脸表情识别方法。首先,为了增加网络的宽度和深度,在网络中引入Inception结构来提取特征的多样性;然后,将提取到的高层次特征与低层次特征进行融合,利用池化层的特征,将融合后的特征送入全连接层,对其特征进行融合处理来增加网络的非线性表达,使网络学习到的特征更加丰富;最后,输出层经过Softmax分类器对表情进行分类,在公开数据集FER2013和CK+上进行实验,并且对实验结果进行分析。实验结果表明:改进后的网络结构在FER2013和CK+数据集的面部表情上,识别率分别提高了0.06%和2.25%。所提方法在人脸表情识别中对卷积神经网络设置和参数配置方面具有参考价值。     

面向螺丝锁附序列的多分辨率融合卷积神经网络

为了准确识别螺丝锁附是否发生故障和具体故障类型,提出了一种多分辨率融合卷积神经网络。使用原始序列数据作为输入以提高识别速度和精度;为了提取多尺度特征,分别在分辨率(数据长度)为4 000、2 000和1 000的特征向量上进行一维卷积运算;在Fusion层通过上采样、下采样和1×1卷积等策略,将各分辨率特征向量融合得到3组新特征向量,使得该网络能够获得锁附序列的整体和局部特征信息;在输出层使用类别加权交叉熵(CWCE)损失,通过为损失函数设置惩罚系数来加大对样本较少类别的惩罚力度,缓解了各类别数据不平衡的问题。收集了3 149条螺丝锁附序列,并在该数据集上进行了实验,结果表明:在6分类实验中,所提方法的准确率为96.00%,宏F1为93.93%,均高于其他方法;在2分类实验中,所提方法的准确率为99.36%,CWCE损失的有效性得到了验证;所提方法能够有效地判别锁附故障,并具有较好的实时性。     

融合Multi-scale CNN和Bi-LSTM的人脸表情识别研究

为了有效改善现有人脸表情识别模型中存在信息丢失严重、特征信息之间联系不密切的问题,提出一种融合多尺度卷积神经网络(Multi-scale CNN)和双向长短期记忆(Bi-LSTM)的模型.Bi-LSTM可以增强特征信息间的联系与信息的维持,在Multi-scale CNN中通过不同尺度的卷积核可以提取到更加丰富的特征信息,并通过加入批标准化(BN)层与特征融合处理,从而加快网络的收敛速度,有利于特征信息的重利用,再将两者提取到的特征信息进行融合,最后将改进的正则化方法应用到目标函数中,减小网络复杂度和过拟合.在JAFFE和FER-2013公开数据集上进行实验,准确率分别达到了95.455％和74.115％,由此证明所提算法的有效性和先进性.     

用于稳态视觉诱发电位目标识别的多尺度特征融合卷积神经网络方法

针对传统稳态视觉诱发电位(SSVEP)脑电信号目标识别方法分类精度低、提取特征不充分、方法复杂且耗时等问题,提出一种基于多尺度特征融合卷积神经网络的SSVEP信号分类识别方法(SSVEP-MF)。利用小波变换将多通道SSVEP信号整合转化为二维图像作为输入样本集;建立多尺度特征融合卷积神经网络模型(MFCNN),该模型利用三层二维卷积核实现图像样本不同尺度特征的充分提取,构建多尺度特征融合单元对不同层级特征进行融合,并通过全连接等操作完成模型的训练;将样本集输入到MFCNN模型中实现脑电信号特征自适应提取及端到端分类。所提SSVEP-MF方法能够充分提取信号各层级特征,实现短时间视觉刺激下SSVEP信号的有效识别,并具有较高的目标识别效率。实验结果表明,在1 s刺激时长时,相比传统功率谱密度分析方法、典型相关分析方法以及普通卷积结构方法,所提方法的识别准确率分别提升了18.57%、20.08%及7.03%,有效提高了基于稳态视觉诱发电位范式下脑机接口的信号识别性能。     

基于自适应池化的行人检测方法

基于卷积神经网络的行人检测器普遍采用图像识别网络,通常会引起多池化层导致小目标行人特征信息丢失、单一池化方法导致行人局部重要特征信息削弱甚至丢失等,针对以上问题,基于最大值池化和平均值池化方法,提出了一种自适应池化方法,结合通用目标检测器Faster R-CNN,形成了有效的行人检测器,达到增强行人局部重要特征信息、保留小目标行人有效特征信息的目的。对多个公开的行人数据集进行大量实验,结果表明,与传统的卷积神经网络行人检测器相比,所提方法将行人检测漏检率降低了2%～3%,验证了方法的有效性。新方法改进了卷积神经网络结构,在无人驾驶领域具有一定的参考价值。     

改进U型卷积网络的细胞核分割方法

针对经典U型卷积网络在细胞核分割过程中对距离相近目标的边界较难区分、对模糊目标产生误识别等问题,提出一种改进的U型卷积网络(DU-Net)模型。为增强目标边界特征,提出一种梯度融合方法,计算样本梯度信息并将梯度图多尺度融合至U-Net编码器。解码器浅层特征通过卷积上采样密集连接至深层特征,增加特征的复用性。针对梯度消失问题,DU-Net模型在每个卷积层后采用批归一化和ReLU激活结构。针对经典U-Net模型对模糊目标的误识别问题,提出一种改进的交叉熵损失函数,该损失函数降低了模糊背景点对模型的干扰,同时提高了模型对小目标的识别能力。在2018年数据科学碗公布的670张图片、约29 500个细胞核的公开数据集上验证了DU-Net模型,结果表明,模型的预测结果与真实标签在Dice系数和Jaccard相似系数两项评价指标上分别达到95.9%和91.0%,性能优于U-Net和SegNet编码器,显著优于经典卷积神经网络模型FCN-8s。