融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

深度学习下的高效单幅图像超分辨率重建方法

提出一种基于深度学习的高效单幅图像超分辨率重建方法,增加一个亚像素卷积层和一个替换的级联卷积,即设计一个具有合适深度的卷积神经网络,以保证图像的重建质量,并采用级联小卷积核提高运行速度.在标准的公共数据集上进行实验测试,结果表明:与亚像素卷积神经网络(ESPCN)算法相比,所提算法重建的高分辨率图像的质量和速度皆显著提高;将其应用于实际项目中,可端到端地重建低分辨率服装风格图像,获得高分辨率图像.     

基于注意力特征融合稠密网络的图像去雾算法

目前主流图像去雾算法输出的结果图像存在颜色失真、边缘模糊的问题.为改善上述问题,提出一种基于深度学习的图像去雾算法,所提算法由两个模块构成:注意力特征融合模块和雾霾模型参数估计模块.注意力特征融合模块用于充分提取雾霾图像的颜色、边缘特征;基于稠密连接空洞卷积自编码器的雾霾模型参数估计模块用于估计雾霾模型的参数,改善网络退化的问题.在浓雾图像、薄雾图像数据集上的实验表明,本文提出的算法有效地实现了图像去雾,与主流的图像去雾算法相比具有更高的结构相似性(SSIM),更低的均方误差(mean-square error,MSE)和边缘误差e_○edge.     

多尺度改进Xception的花卉图像分类方法

针对传统图像分类方法在花卉图像上存在分类效果不佳的问题,提出一种改进Xception网络的方法。首先结合Res2net中的多尺度模块来提高模型特征信息的丰富度,提出Multi＿Xception网络,接着使用1×1卷积核对多尺度深度可分离卷积模块的输入特征图进行信道压缩,减少模型参数的同时进一步丰富模型特征信息,提出Multi2＿Xception网络。将改进模型应用于Flowers Recognition花卉数据集分类,实验结果表明,该方法相较于原算法分类准确率提升了1.64%,F1-score提升了0.018,验证了多尺度Xception网络的有效性。     

改进卷积神经网络在腺癌病理图像分类中的应用

针对传统卷积神经网络(CNN)稀疏的网络结构无法保留全连接网络密集计算的高效性和在实验过程中卷积特征利用率低造成的分类结果不准确或收敛速度较慢的问题,提出了一种基于CNN的多尺度方法结合反卷积网络的特征提取算法(MSDCNN)并对腺癌病理图像进行分类。首先,利用反卷积操作实现不同尺度特征的融合,然后利用Inception结构不同尺度卷积核提取多尺度特征,最后通过Softmax方法对图像进行分类。在腺癌病理细胞图像进行的分类实验结果表明,在最后的卷积特征尺度相同的情况下,MSDCNN算法比传统的CNN算法分类精度提高了约14%,比同样基于多尺度特征的融合网络模型方法分类精度提高了约1.2%。     

基于多尺寸特征图卷积方法的玉米雄穗检测

为了解决传统雄穗检测方法因玉米品种不同以及田间环境不同导致的检测误差较大、鲁棒性较差的问题,利用深度卷积神经网络提取特征,并对多尺寸特征图卷积的方法检测玉米雄穗。采用深度卷积神经网络inception作为基础网络来训练提取玉米雄穗特征,同时增加额外的卷积层对图像进行卷积提取特征,最后分别对基础网络中的两层卷积层以及额外的卷积层卷积得到的不同尺度特征图进行分类和位置回归。整体网络结构是多尺度端到端框架,效率高,方便检测不同尺度的雄穗。实验结果表明,此方法提高了雄穗检测的速度和准确率。     

基于多尺度时空特征的篮球场景中人体姿态估计

人体姿态估计是计算机视觉领域的研究热点之一,目标是从给定的图像或视频中识别人体的关节.由于篮球比赛视频中人体动作复杂多变,易产生运动模糊、遮挡等问题,导致现有的人体姿态算法对篮球动作姿态估计的准确率较低.针对这一问题,提出了一种基于多尺度时空关联特征的篮球动作姿态估计算法,构建基于Transformer的人体时序特征捕捉模块对序列层级的时空特征信息进行建模,以缓解运动模糊、遮挡等现象带来的负面影响.此外,针对人体外形复杂多变的问题,提出了基于可形变卷积的人体空间特征残差融合模块来获取更为充分的空间特征.与现有算法相比,该算法在自行构建的篮球场景人体运动数据集、姿态估计公开基准数据集PoseTrack2017和PoseTrack2018均取得较好的效果.     

多尺度卷积神经网络的图像超分辨率重建算法

为利用多尺度信息重建超分辨率图像,提出多尺度卷积神经网络的图像超分辨率重建算法。算法利用不同尺度的卷积核提取图像特征,为图像重建提供不同大小的邻域信息;用瓶颈层融合多尺度特征图,增强网络非线性表示能力,降低中间层输出的维数,提高图像的超分辨率重建性能。多个测试集上的实验结果表明,多尺度卷积神经网络算法优于现有的单幅图像超分辨率方法。     

基于改进残差网络的铁路隧道裂缝检测算法研究

针对铁路隧道复杂背景下细小裂缝存在图像特征难以提取的技术问题,提出一种基于改进残差网络(Residual Network,ResNet)的铁路隧道裂缝检测算法.该算法采用ResNet对裂缝进行检测,并在此基础上对网络进行了改进:首先将具有不同扩张率的空洞卷积块与传统的卷积块组合形成金字塔空洞卷积模块;其次将该模块放在ResNet的底部以增强其局部感受野,实现多尺度裂缝信息的提取;最后利用基于度量学习的组合损失函数来解决相似类别之间出现的裂缝漏检和误检的问题,进一步提升铁路隧道裂缝检测的效果.在公共裂缝数据集SDNET2018和自制裂缝数据集CRACK上,将其与文献方法、ResNet等其他方法进行了实验对比验证,结果表明:该算法与原始残差网络等方法相比,检测结果有明显的提升(精准率(R)为91.32％,召回率( P)为92.14％ ,F1 值为91.73％),该方法也可为其他混凝土裂缝的检测提供参考.     

基于循环生成对抗网络的人脸素描合成网络设计

针对目前人脸到素描合成存在生成的素描图轮廓模糊、细节纹理缺失等问题,提出一种采用循环生成对抗网络(CycleGAN:Cycle-Generative Adversarial Networks)解决方案。构建多尺度CycleGAN,生成器采用深度监督的U-Net++结构为基础,在其解码器端进行下采样密集跳跃连接;在其生成器的编码器端设计通道注意力和和空间注意力机制形成特征增强模块;最后在生成器中增加像素注意力模块。实验结果表明,与现有经典算法相比,从主观视觉评测和利用现有的4种图像质量评价算法进行质量评估,该方法较好地合成了素描图像的几何边缘和面部细节信息,提高了素描图像的质量。     

基于RGB-D图像和深度学习的场景语义分割网络

近年来,深度卷积神经网络应用于图像语义分割领域并取得了巨大成功。本文提出了一个基于RGB-D(彩色-深度) 图像的场景语义分割网络。该网络通过融合多级RGB网络特征图和深度图网络特征图,有效提高了卷积神经网络语义分割的准确率。同时,本文利用带孔的卷积核设计了具有捷径恒等连接的空间金字塔结构来提取高层次特征的多尺度信息。在SUN RGB-D数据集上的测试结果显示,与其它state-of-the-art的语义分割网络结构相比,本文所提出的场景语义分割网络性能突出。     

基于多尺度特征融合的单目图像深度估计

为解决从单目图像中很难恢复出准确、有效深度信息的问题,提出一种多尺度特征融合的单目图像深度估计算法.算法采用端对端训练的卷积神经网络(CNN)结构,引入从图像编码器到解码器的跳层连接来实现在不同尺度上特征的提取和表达,设计了一种多尺度的损失函数来提升卷积神经网络的训练效果.通过在NYU Depth V2室内场景深度数据集和KITTI室外场景深度数据集上的训练、验证和测试,实验结果表明:提出的多尺度特征融合方法得到的深度图边缘清晰、层次分明,且在室内场景和室外场景中均能适用,具有较强的泛化性,可以适应多种实际场景的需求.     

基于混合空洞卷积网络的多鉴别器图像修复

为了有效解决大面积语义信息缺失、孔洞区域大小及形状不规则、图像背景复杂时修复结果出现边缘模糊、伪影或修复失真等缺陷,提出了一种基于混合空洞卷积网络的多鉴别器图像修复算法.首先,将待修复图像输入一个基于混合空洞卷积层的模糊卷积网络,以重构损失为标准,进行粗修复.然后,将粗修复结果输入双平行卷积网络,该网络包含混合空洞卷积(HDC)层的卷积路径及一个与之平行的感知层卷积路径,两个平行路径的输出经过解码和反卷积后,送入鉴别器进行判别优化.最后,在网络的优化过程中,利用全局鉴别器、局部鉴别器和中心鉴别器增强修复图像的整体及局部语义一致性和细节特征.在国际公认的人脸数据集CelebA和风景数据集Places2上,对提出算法进行训练和测试,实验结果表明:提出方法在修复背景复杂和各种大小及形状的孔洞时,增强了图像细节的修复精度,有效避免了修复失真,在修复的视觉效果、峰值信噪比、结构相似度和平均误差方面,优于对比的4种经典修复算法.     

基于多视图和注意力推荐网络的三维物体识别方法

传统物体识别方法是从单一图像中通过人工提取图像特征,存在成本高、质量低等问题。针对上述问题,提出一种基于多视图和注意力推荐网络的三维物体识别方法,多视图很好地保留了物体在局部和全局上的特征;注意力模块可以有效地对视图上关键的特征聚焦,忽略无关或干扰特征。该方法利用一组多视图作为输入数据,通过卷积神经网络端到端提取物体特征,在卷积层加入注意力模块,实现视图关键区域的定位和剪裁,将处理后的视图送入另外一个卷积层,两个相同卷积操作提取的特征在池化层聚合,利用稀疏表示分类器对特征描述子进行分类识别。通过两个公开数据集的实验表明,所提算法对物体图像的识别准确度优于传统算法。     

基于改进知识一致性注意力的图像修复算法

为有效解决修复大面积不规则洞孔出现的纹理模糊、结构失真等问题,提出了基于改进知识一致性注意力机制图像修复算法．首先使用部分卷积对待修复图像进行处理,随后将处理的特征图送入包含混合空洞卷积(HDC)与改进知识一致性注意力机制(KCA)的特征推理模块．推理完成后将输出特征图输入至部分卷积与特征推理模块进行循环推理,逐步提升网络的修复能力,循环完成后对输出图像进行特征合并．最后将合并特征图进行去残差瓶颈层以增强修复图像的结构完整性．提出模型使用组归一化方式(GN)加快损失函数收敛速度．在公开数据集上验证提出算法的性能,主客观实验结果表明：提出算法能有效修复大面积连续不规则区域,能够较好地避免修复失真,其峰值信噪比和结构相似度及运算速度优于对比算法．     

多尺度并行融合的轻量级卷积神经网络设计

针对传统深度卷积神经网络分类精度不佳,参数量巨大,难以在内存受限的设备上进行部署的问题,本文提出了一种多尺度并行融合的轻量级卷积神经网络架构PL-Net。首先,将上层输出特征图分别送入两种不同尺度的深度可分离卷积层;然后对并行输出特征信息进行交叉融合,并加入残差学习,设计了一种并行轻量型模块PL-Module;同时,为了更好地提取特征信息,利用尺度降维卷积模块SR-Module来替换传统池化层;最后将上述两个模块相互堆叠构建轻量级网络。在CIFAR10、Caltech256和101_food数据集上进行训练与测试,结果表明:与同等规模的传统CNN、MobileNet-V2网络及SqueezeNet网络相比,PL-Net在减少网络参数的同时,提升了网络的分类精度,适合在内存受限的设备上进行部署。     

基于深度卷积神经网络和局部敏感哈希的图像检索

网络图像资源增长迅速,如何实现快速有效的大规模图像检索,成为当前研究的热点之一。深度神经网络对图片特征有很强的表达能力,利用典型深度卷积神经网络VGG16在预训练完成的模型上使用网络全连接层的输出提取待检索图像数据集的特征以建立索引,并采用局部敏感哈希算法提升检索速度,以端到端的形式,完成基于内容的图片检索任务。这种图像检索模型提供了一种在计算资源有限情况下实现大规模图像检索的有效方法。     

基于扩张卷积特征自适应融合的复杂驾驶场景目标检测

针对复杂驾驶场景下的目标检测问题,提出一种基于扩张卷积特征自适应融合的目标检测算法.采用单阶段目标检测网络RetinaNet作为基本框架,其包含卷积特征提取、多尺度特征融合以及目标分类与回归子网.为提高网络对多尺度特征的提取能力,设计了基于不同扩张率组合的残差卷积分支模块,以获取不同感受野下的目标特征图;然后,将不同尺度下的特征通过网络自适应学习的参数融合后输出,用于后续的目标预测;最后在大规模且多样化的复杂驾驶场景数据集BDD100K上进行实验.结果 表明,利用扩张残差卷积分支模块与特征自适应融合算法能够分别将网络的平均精度均值由0.330提升至0.338与0.344,并在采用扩张卷积特征自适应融合的情况下达到了0.349.所提算法能够有效提升目标检测算法在复杂驾驶场景下的检测性能.     

基于改进RFBNet算法的遥感图像目标检测

针对遥感图像中的小目标存在信息少、易受背景干扰、特征表达较弱等缺陷, 导致目前通用目标检测算法在对这类小目标进行检测时效果不理想的问题, 为提高对遥感图像中小目标的检测能力, 提出一种基于RFBNet的改进算法. 该算法以RFBNet为框架, 首先利用自校正卷积取代特征提取网络中的常规卷积, 以扩展感受野丰富输出, 进而强化对弱特征的提取能力; 然后设计多尺度特征融合模块, 丰富浅层特征图的抽象信息; 最后设计稠密预测模块, 提前在较浅层整合上下文信息, 使最后阶段的每层输出都含有丰富且联系紧密的多尺度特征信息. 将该算法在数据集UCAS_AOD和NWPU VHR-10上进行实验, 平均检测精度分别达83.4%和94.8%. 实验结果表明, 该算法有效提高了遥感图像中目标检测的精度, 且针对遥感图像中的小尺度目标检测问题改善明显.     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.