结合Shortcut Connections结构的卷积稀疏编码图像去噪算法

卷积稀疏编码网络模型(convolutional sparse coding network, CSCNet)虽然能够有效解决去噪问题,但是该算法并没有考虑到迭代求解近似编码向量过程中卷积层、反卷积层之间的叠加会改变原始数据分布方式。为解决该问题,借鉴深度学习领域常用方法对原始模型进行改进。讨论了在CSCNet模型中加入以及不加入批处理标准化(batch normalization, BN)、非线性激活函数、残差学习(residual learning, RL)对模型图像去噪效果的影响,然后再此基础上分别设计了两个不同的网络模型结构。为使输入数据分布方式不因模型层与层之间传播而改变,模型1是在原始CSCNet网络的每一层加入非线性激活函数以及BN层。CSCNet模型中所训练的卷积核都是同样大小,为增加图像特征的多样性,模型2在模型1基础之上加入了简单残差块结构改变了原始模型参数传播方式,并将其通过Shortcut Connections结构与原始输入联结起来。从实验结果可以看出,在不降低原始模型计算效率的前提下,使用文中设计的模型所得去噪后的结果相比原卷积稀疏编码网络略有提升。     

基于深度学习的监控视频树叶遮挡检测

结合稀疏自编码器的自动提取数据特征能力和深度置信网络较好的分类性能,提出一种基于深度学习的监控视频树叶遮挡检测方法。首先从视频中随机选取一帧图像,通过栈式稀疏自编码器主动学习视频图像的特征信息,然后采用深度置信网络建立分类检测模型,最后引入学习速率自适应调整策略对整个神经网络进行微调。该方法不需要对视频连续取帧,具有较好的图像特征主动学习能力,克服了人工提取特征能力有限的缺陷。实验结果表明,在样本量充足的条件下,使用本文方法进行监控视频树叶遮挡检测可以达到88.97%的准确率。     

基于双编码路径融合和双向ConvLSTM的神经元图像分割

目标分割是神经元图像分析中必不可少的步骤之一，分割的准确性会直接影响到神经元图像分析和重建的质量。在面对结构边界模糊、存在弱噪声或弱纤维信号的神经元图像时，已有的分割方法依然存在误差较大、识别信号不准等问题。为了解决这些问题，基于神经元的特征，本文提出一种基于双编码路径融合和双向ConvLSTM的深度学习网络(DFC-Net)用于神经元图像分割。首先，网络在编码器阶段采用双编码路径提取特征，其中第一路编码路径采用基于空洞卷积的密集连接网络作为固定特征提取器，第二路编码器采用深度残差网络作为特征提取网络；接着，使用密集连接ASPP网络作为桥梁连接编码器和解码器；最后，在跳跃连接中使用双向ConvLSTM结合编码器和解码器，在解码器阶段引入融合网络以融合2个编码器提取的特征，从而增强空间信息的传播。多组对比实验结果显示，本文提出的网络有效地提高了电子显微镜神经元图像的分割精度，在ISBI-2012和SNEMI3D数据集上的Sen、Dice分别达到0.952 7、0.958 9和0.941 6、0.912 7,平均准确率相比于其他U-Net变体网络提高2.93%。     

基于深层卷积网络的单幅图像超分辨率重建模型

【目的】针对Mean squared error(MSE)作为损失函数在人眼感知方面存在局限性,以及基于卷积神经网络的图像超分辨率(Super-resolution,SR)算法生成的图像存在参数较多、计算量较大、训练时间较长、纹理模糊等问题,设计基于深层卷积神经网络的单幅图像超分辨率重建模型。【方法】使用ImageNet预先训练的大型卷积神经网络Visual geometry group(VGG)模型提取图像特征,利用该特征设计视觉感知损失函数进行训练学习,引入亚像素卷积层(Sub-pixel convolution)替换上采样层,缓解生成图像的棋盘效应。【结果】设计的模型对放大两倍的图像进行超分辨率修复,与其他4种超分辨率重建模型的Peak signal to noise ratio(PSNR)值接近,且生成图像的视觉效果更加清晰逼真,细节更加细腻。【结论】该模型可以实现输入不同大小的低分辨率图像而不必多次训练学习不同比例的放大模型,可以实现对不同放大倍数图像的训练和预测,在保持一定PSNR正确率的前提下,放大后的超分辨率图像能够恢复更多纹理细节和更佳视觉效果。     

用于肺结节检测和分类的两阶段深度学习方法

针对肺部CT数据具有空间信息的特点, 提出一种基于深度学习的两阶段方法, 即使用两个3D卷积网络有效学习结节特征, 对CT图像中的肺结节进行检测和分类. 该方法的检测器部分采用基于U Net的编码器 解码器结构的3D语义分割模型, 以预测结节的位置、 大小和语义掩码; 分类器部分采用3D双路径网络, 用于特征的汇总和收缩, 并给出分类结果. 为充分利用原始数据中的特征信息, 将检测器的结果应用于对原始数据进行采样和掩码操作, 并通过空间金字塔池化层获得一致的输入尺度. 在公开数据集上的实验结果表明, 该深度学习方法对CT图像肺结节的检测和分类具有良好的性能.     

基于卷积自编码器的高光谱图像有损压缩方法研究

高光谱图像包含丰富的信息，但其数据量巨大，限制了其在实际应用中的使用。提出一种基于卷积自编码器的高光谱图像有损压缩算法，首先通过卷积层和最大池化层的有效组合来降低图像维度；然后在池化层和展平层之间嵌入通道分组双重注意力模块，以帮助卷积自编码器更好地捕捉输入数据的关键特征，准确地提取特征进行加权处理；最后，使用熵编码技术对量化后的特征映射进行编码，使用转置卷积层来重建图像。在多个数据集上进行实验，采用峰值信噪比（PSNR）和结构相似性指标（SSIM）评估。实验结果表明，在相同压缩比下，与传统的压缩方法相比，此方法 PSNR和SSIM均有较大提升，所提方法能够提供更好的高光谱图像压缩性能。     

基于多尺度特征融合的单目图像深度估计

为解决从单目图像中很难恢复出准确、有效深度信息的问题,提出一种多尺度特征融合的单目图像深度估计算法.算法采用端对端训练的卷积神经网络(CNN)结构,引入从图像编码器到解码器的跳层连接来实现在不同尺度上特征的提取和表达,设计了一种多尺度的损失函数来提升卷积神经网络的训练效果.通过在NYU Depth V2室内场景深度数据集和KITTI室外场景深度数据集上的训练、验证和测试,实验结果表明:提出的多尺度特征融合方法得到的深度图边缘清晰、层次分明,且在室内场景和室外场景中均能适用,具有较强的泛化性,可以适应多种实际场景的需求.     

基于编码器-解码器的离线手写数学公式识别

提出一种改进的编码器 解码器模型。模型采用多尺度密集卷积网络作为编码器,以提取手写数学公式图像的多分辨率特征。采用完全基于注意力机制的Transformer模型作为解码器,依据图像特征将二维手写数学公式解码为一维 LaTeX 序列。通过相对位置编码嵌入图像位置信息和LaTeX符号位置信息。实验结果表明,模型在官方CROHME 2014数据集上取得了优异的性能,相比于当前最先进的方法,其公式识别准确率提高了3.55%,字错误率降低了1.41%。     

一种改进的卷积神经网络的室内深度估计方法

针对单幅图像的室内深度估计缺少显著局部或全局特征问题,提出了一种基于多种网络(全卷积网络分别与通道注意力网络、残差网络结合)构成的编码器解码器结构.该网络采用端到端的学习框架.首先使用全卷积网络与通道注意力网络结合的全卷积通道注意力网络模块作为编码器,通过信道信息获取全局感受野,提高特征图精度,并适当地将全连接层改为卷积层以达到减少网络参数的目的.然后将全卷积网络与残差网络结合构成的上采样模块作为解码器,利用ResNet的特点——跳层连接,将解码器网络加深,提高深度图的精度,将卷积网络与残差网络结合,实现端对端,并减少网络运行所用时间.最后,使用L1损失函数优化模型.在公开数据集NYUDepth v2的测试下,实验结果表明,和现有的其他单目深度估计方法相比,本文所提出的网络模型不仅精简了繁琐的精化粗图的过程,而且所预测的深度图精度更高,阈值精度的提升不少于0.5%,运行网络结构的平均用时21 ms,为实现实时性奠定了基础,具有一定的理论研究价值和实际应用价值.     

一种基于深度学习的实时视频图像背景替换方法

针对视频会话业务的实时性需求,提出一种轻量级深度学习网络模型实现视频图像的实时背景替换功能.网络模型包含语义分割和背景替换两个模块.语义分割模块整体架构采用编解码结构,编码端使用编码器模块、空洞卷积金字塔池化模块、注意力模块以及增益模块提取特征;解码端使用解码器模块、调整模块以及编码器模块恢复图像,再传入背景替换模块完成背景替换.该网络模型在本文设定的数据集训练后分割精确度达到94.1%,分割速度达到42.5帧/s,在实时性和准确性上达到较好的平衡,具有很好的实用效果.     

一种非对称的轻量级图像盲去模糊网络

针对现有图像去模糊算法存在细节模糊不清、计算资源占用较大且图像处理速度较慢等问题,提出一种轻量级的图像盲去模糊网络.首先,网络主体使用多尺度架构,将不同分辨率的图像输入网络,通过循环处理逐步优化细节;其次,设计非对称结构以加强编码器的特征提取能力和解码器的特征融合能力.在编码器中,提出混合多尺度卷积层和残差金字塔模块,以强化特征提取并减少网络的参数量;在解码器阶段,使用跳跃连接引入深层语义,并提出多尺度联合结构损失函数进行优化.最后,在两个广泛使用的数据集GoPro和Kohler上使用两种评价指标,将该方法与其他经典方法进行性能对比.实验结果表明,该网络的去模糊效果优于传统方法以及其他经典深度学习方法,不仅在峰值信噪比(PSNR)和结构相似性(SSIM)上均有一定提升,且处理时间更短.     

基于双任务一致性的半监督深度学习医学图像分割方法

【目的】医学图像分割是医学图像分析中的一个重要内容。现有的大部分图像分割算法都是基于监督学习,而实际应用中医学图像标签难以获取,大量标注需依赖领域专家,费时费力。因此,提出一种双任务一致性的半监督医学图像分割模型。【方法】该模型采用一个编码器,两个解码器的网络结构,其中编码器和一个解码器实现图像分割,与另一个解码器实现图像重建。无标签数据通过一致性分割与重建任务得到的两个不同图像背景计算损失并优化网络参数。同时在网络的编码器部分加入注意力模块以更好地获取分割区域的空间位置信息,并使用锐化操作增加无标签数据重建输出的置信度。【结果】在肝脏和细胞数据集上IOU分别为0.953 6和0.821 0,相较于U Net提高了1.5%和4.82%;在眼底血管数据集上,SP值为0.983 0,与第二名相比提升了0.18%。【结论】本文模型与有监督方法和半监督方法相比,在医学图像分割的有效性和泛化性上有一定的性能提升,能有效解决数据集数量少、小病灶分割难度大的问题。     

基于多尺度特征提取的单目图像深度估计

在目前基于深度学习的单目图像深度估计方法中,由于网络提取特征不够充分、边缘信息丢失从而导致深度图整体精度不足。因此提出了一种基于多尺度特征提取的单目图像深度估计方法。该方法首先使用Res2Net101作为编码器,通过在单个残差块中进行通道分组,使用阶梯型卷积方式来提取更细粒度的多尺度特征,加强特征提取能力;其次使用高通滤波器提取图像中的物体边缘来保留边缘信息;最后引入结构相似性损失函数,使得网络在训练过程中更加关注图像局部区域,提高网络的特征提取能力。在NYU Depth V2室内场景深度数据集上对本文方法进行验证,实验结果表明所提方法是有效的,提升了深度图的整体精度,其均方根误差(RMSE)达到0.508,并且在阈值为1.25时的准确率达到0.875。     

基于深度卷积稀疏自编码分层网络的人脸识别技术

面对海量人脸图像识别,传统特征提取方法难以提取有效特征,造成人脸识别准确率较低。提出了一种鲁棒的人脸特征提取算法,即利用深度卷积稀疏自编码网络自动学习人脸中丰富且识别力高的特征。该方法将卷积操作融入自编码网络中,同时加入稀疏化思想,从而形成深度卷积稀疏自编码分层网络(hierarchical deep convolution sparse autoencoder,HDCSAE);用该网络自动提取海量人脸图像的高层鲁棒特征,并将提取的特征作为SVM分类器的输入得到分类结果。在FERET人脸数据库下对该方法进行测试,识别率达到99.47%,比传统的基于提取人为定义特征的人脸识别方法的识别率有所提高。     

基于生成对抗网络的人脸图像修复

为了有效修复大面积破损的面部图像,通过生成对抗网络,使用解码器-编码器结构的卷积神经网络作为生成模型,增强生成模型的结构信息预测能力,同时引入对抗训练策略优化生成模型。该模型首先训练一个判别模型识别真实图像,再将判别待修复图像输入生成模型后所得到的结果是否真实,从此为生成模型提供优化梯度。结合卷积神经网络的结构信息预测能力和DCGAN对抗策略的优化能力,提高图像补全效果。通过在CeleBA人脸数据集上进行的实验结果表明:该方法在补全大面积破损的图像任务上性能明显优于其他方法。     

基于多尺度特征融合的快速单目图像深度估计

文章针对目前采用深度学习估计单目图像深度中存在推理时间长、物体边缘细节不清晰的问题,设计一种基于多尺度特征融合的快速单目图像深度估计网络.将GhostNet运用到单目图像深度估计网络的编码网络中,提高网络的编码速度;采用反卷积和双线性插值设计解码网络,并通过跨层连接将编码网络的特征与解码网络的特征融合增强深度图中物体的...     

基于自编码网络的空气污染物浓度预测

深度学习为城市空气污染物浓度预测提供了更为强大的数据拟合能力,为空气污染预测提供全新的智能计算方法.为此,提出了一个基于自编码神经网络的污染物浓度预测模型AEPP(auto-encoder-based pollutant prediction).该模型包括编码器和解码器两个部分.其中,编码器用于提取出时间序列污染物浓度数据分布特征,即语境向量;解码器利用提取的特征预测未知时间内污染物浓度数据.模型中编码器和解码器采用多层LSTM(long short-term memory)模型结构,实现长时间依赖预测目标.实验表明,提出的模型可以提高对污染物浓度的预测水平.     

基于无监督学习的编码衍射成像方法研究

编码衍射成像旨在利用衍射强度图样重建原始图像，而现有基于人工设计先验的编码衍射成像算法大都在低信噪比下成像质量低。通过基于深度神经网络学习的深度先验能够解决上述问题，但有监督学习需要大规模样本对，不利于实际应用。针对这一问题，本文提出一种基于无监督学习的编码衍射成像方法。该方法结合双数据保真项、卷积稀疏编码模型和深度图像先验模型构建了能够融合互补先验的优化模型，并利用交替优化方法对其进行有效求解。实验结果表明，提出的方法能够在低信噪比下仅通过单幅编码衍射强度图样重建出高质量的图像。     

基于残差密集块与注意力机制的图像去雾网络

基于卷积神经网络的单幅图像去雾算法虽然取得了一定进展,但仍然存在去雾不完全和伪影等问题.基于这一现状,提出了一种以编码器-解码器结构为基本框架,融合注意力机制与残差密集块的单幅图像去雾网络.首先,利用网络中的编码器、特征恢复模块和解码器三个部分直接对去雾后的图像进行预测;然后,在网络中引入本文所设计的带有注意力机制的残差密集块,提升网络的特征提取能力;最后,基于注意力机制提出自适应跳跃连接模块,增强网络对去雾图像细节的恢复能力.实验结果表明,与现有去雾方法相比,提出的去雾网络在合成有雾图像数据集和真实有雾图像上均取得了较为理想的去雾效果.     

深度卷积神经网络的遥感植被检测方法

【目的】植被检测是城市生态研究的重要手段,然而由于遥感图像中植被存在阴影区域、遮挡区域以及色彩上的畸变等,导致当前的植被检测精度较低。基于遥感卫星影像,采用深度学习技术快速有效地检测出城市中的植被区域,为植被资源统计等相关研究提供依据。【方法】选用深度卷积神经网络模型,对高分辨率遥感影像中的植被区域进行检测。对不同的优化器,通过设置不同的卷积核大小,对精度进行对比分析。最后对网络层数进行研究,对设置合适网络层数进行分析,用构造的深度卷积神经网络在实验数据上进行植被区域检测。【结果】利用卷积神经网络处理二维图像时,无需手动提取特征,进行简单少量的预处理后,直接把图像输入到CNN模型中进行训练,即可实现图片的识别分类功能。降低了预处理的难度,同时局部感知和权值共享大幅度地减少了参数量,加快了计算速度。次抽样还能保证图像处理后的平移、旋转、缩放和拉伸的不变性。解决了传统方法计算量和样本量大、结构复杂以及费时的缺点。在采集到的高分辨率紫金山区域的遥感图像中,通过设计的多层卷积神经网络模型对区域中的植被资源进行分析,对比和研究不同的优化器、卷积核和网络层数,植被检测精度达到95.4%,明显高于当前众多植被检测算法。【结论】在深度学习中,目标检测的精度依赖于网络的结构设置,通过对优化器、卷积核以及网络层数进行设定,可以明显提高目标检测效率和精度。