基于深度学习的图像抠图技术

图像抠图(image matting)技术是图像编辑技术的基础, 广泛应用于影视后期制作和日常生活. 基于深度学习的图像抠图网络, 通过输入的原图和三元图来估计每个像素的 $\alpha$ 值. 在原下、上采样的图像抠图技术基础上, 针对抠图数据集图像差异较大容易造成网络收敛较慢的问题, 在每个卷积层后加入了批量标准化(batch normalization, BN)层, 对输入数据进行归一化操作, 加快模型收敛速度, 同时参数更新方向更符合数据集整体特性; 针对抠图任务需要更关注物体边缘部分的特点, 使用可变形卷积(deformable convolution)层替换普通卷积层. 可变形卷积层会根据不同输入数据自适应学习卷积核形状, 有效扩大感受野范围, 在细节部分有更好的预测效果.     

基于环视相机的无人驾驶汽车实例分割方法

针对环视鱼眼图像中目标几何畸变大导致建模难的问题,提出一种基于可变形卷积网络的实例分割方法,主要是在Mask R-CNN框架的基础上引入可变形卷积和可变形RoI Pooling(候选区域池化)来提升网络对几何畸变的建模能力.针对深度神经网络训练数据缺乏、易过拟合的问题,提出了基于多任务学习的训练方法.首先将现有的大规模普通图像数据集转换为鱼眼数据集来弥补训练数据不足的问题,然后采用多任务学习的训练方法将转换的图像和真实图像放在同一个框架中训练以提高网络的泛化能力.用该方法在真实的环视鱼眼图像上做测试,结果表明:相对于原始Mask R-CNN的方法平均精度提升了3.1%,证明了该方法在真实交通环境中的有效性.     

基于改进卷积神经网络的苹果叶部病害识别

针对苹果病害叶片图像病斑区域较小导致的传统卷积神经网络不能准确快速识别的问题,提出基于改进卷积神经网络的苹果叶部病害识别的网络模型.首先,将VGG16网络模型从ImageNet数据集上学习到的先验知识迁移到苹果病害叶片数据集上;然后,在瓶颈层后采用选择性核(selective kernel,简称SK)卷积模块;最后,使用全局平均池化代替全连接层.实验结果表明:与其他传统网络模型相比,该模型能更准确快速捕获苹果病害叶片上微小的病斑.     

基于Dirac残差模块的单幅图像超分辨率重建

针对单幅图像超分辨率重建问题(SISR),提出了一种新的基于Dirac残差的超分辨率重建算法.算法使用全局跳跃重建层来直接利用输入LR图像的低频特征,通过多个dirac残差块来自适应学习输入LR图像的高频特征,通过亚像素卷积进行图像重建.算法通过权重参数化来改进残差层,同时使用输入图像的卷积特征与残差网络学习特征结合进行重建.实验采用Adam优化器进行网络训练.使用L1范数作为损失函数.在PSNR、SSIM和视觉效果与其他先进算法进行对比,实验结果表明,在常用测试集上与其他深度学习算法相比有较大提高.     

基于混合空洞卷积网络的多鉴别器图像修复

为了有效解决大面积语义信息缺失、孔洞区域大小及形状不规则、图像背景复杂时修复结果出现边缘模糊、伪影或修复失真等缺陷,提出了一种基于混合空洞卷积网络的多鉴别器图像修复算法.首先,将待修复图像输入一个基于混合空洞卷积层的模糊卷积网络,以重构损失为标准,进行粗修复.然后,将粗修复结果输入双平行卷积网络,该网络包含混合空洞卷积(HDC)层的卷积路径及一个与之平行的感知层卷积路径,两个平行路径的输出经过解码和反卷积后,送入鉴别器进行判别优化.最后,在网络的优化过程中,利用全局鉴别器、局部鉴别器和中心鉴别器增强修复图像的整体及局部语义一致性和细节特征.在国际公认的人脸数据集CelebA和风景数据集Places2上,对提出算法进行训练和测试,实验结果表明:提出方法在修复背景复杂和各种大小及形状的孔洞时,增强了图像细节的修复精度,有效避免了修复失真,在修复的视觉效果、峰值信噪比、结构相似度和平均误差方面,优于对比的4种经典修复算法.     

基于孪生网络的自监督细粒度分类度量

针对小样本间的细粒度分类中同种样本间不同个体的差异性不明显,导致特征难以提取的问题,设计了使用自监督的抠图式度量学习图像分类建模训练方法,在不增加数据集人工标注成本的基础上提高分类精度.首先,将数据集进行抠图处理,扩大检测目标在图像中的占比,突出样本特征.其次,通过比较网络结构模型及距离度量函数,择优对模型进行改进.最后,采用孪生网络的思想将样本集和验证集输入特征提取器中通过度量函数的计算得到两者相似度.选用的样本集为公开数据集CUB＿200＿2011和Standford Dogs Dataset,实验结果显示,提出的方法在性能和精度上得到了较好提升.     

拆分降尺度卷积神经网络入侵检测方法

针对卷积神经网络(convolutional neural network, CNN)模型待训参数量过大、多层网络导致特征和梯度消失等问题,提出一种基于拆分层和Inception-ResNet的卷积神经网络模型用于入侵检测。首先将网络流量数据转化为具有空间相关性的图像以适用于卷积神经网络的输入;然后使用Inception-ResNet卷积层增加网络深度,减少模型训练参数数量以及消除梯度消失问题,拆分层在降低图像尺度时基本保持图像原有分类特征;最后采用NSL-KDD数据集对改进模型进行训练和测试。测试结果表明：改进模型相对于Inception-ResNet模型具有更高的检测准确率和少数类样本召回率以及更好的训练时间性能。     

基于深度卷积残差学习的图像超分辨

传统的超分辨率卷积神经网络难以获得丰富的细节和边缘信息。提出了一种多映射残差卷积神经网络(MMRCNN)来解决这些问题。具体来说,MMRCNN直接使用低分辨率图像作为网络的初始输入,然后使用卷积层提取特征。其次,通过残差学习构建多映射网络,添加批量归一化层优化网络,使聚合高分辨率图像时所需要的特征信息能够变得极为丰富。最后,使用反卷积层来完成图像上采样,输出高分辨率图像,因此不需要预处理,就能够直接完成低分辨率图像与高分辨率图像之间端到端的映射关系。在不同模型的基准数据集上的实验表明,MMRCNN在峰值信噪比、结构相似性和视觉效果方面均有所提升。     

基于改进的卷积神经网络的工件识别技术

针对传统的工件识别流程是由人工根据工件的特点设计需要提取的特征,整个过程具有耗时高、成本大、通用性较差和识别准确率不高等问题,改进了经典的卷积神经网络模型AlexNet和LeNet-5,通过将AlexNet网络的输入图像尺寸缩小到120×120,用BN层代替LRN层,减少两层卷积和全连接层,用3×3的卷积核代替第一层卷积层11×11的卷积核;将LeNet-5的输入图像尺寸提升至60×60,用ReLU取代原始Sigmoid激活函数,使用多个小卷积核代替大卷积核;分别使用改进前后的网络模型对工件数据集进行训练、测试.结果表明,改进后的两种网络模型,在测试集上分别达到94.31%和92.75%的平均识别准确率,平均识别时间分别为0.271s和0.321 s,满足生产需求.     

基于潜在半径优化策略的数字图像抠图算法

针对目标图像利用导向滤波算法进行图像抠图时参数需要根据不同图像进行人为设定的问题,提出了一种利用隐藏的支持向量机LSVM(latent support vector machine)自动设定参数的潜在半径优化的数字图像抠图算法.该方法首先是应用LSVM潜在性的思想,利用已知数据库模板训练输入目标图像的样本集,再利用样本集将导向图像和二值图像以不同半径进行分块并进行判定,确定半径值,从而能够自动产生合理参数.最后利用导向滤波器对图像进行抠图,从而优化抠图算法,最终实现抠图算法的智能化和灵活化.     

基于改进知识一致性注意力的图像修复算法

为有效解决修复大面积不规则洞孔出现的纹理模糊、结构失真等问题,提出了基于改进知识一致性注意力机制图像修复算法．首先使用部分卷积对待修复图像进行处理,随后将处理的特征图送入包含混合空洞卷积(HDC)与改进知识一致性注意力机制(KCA)的特征推理模块．推理完成后将输出特征图输入至部分卷积与特征推理模块进行循环推理,逐步提升网络的修复能力,循环完成后对输出图像进行特征合并．最后将合并特征图进行去残差瓶颈层以增强修复图像的结构完整性．提出模型使用组归一化方式(GN)加快损失函数收敛速度．在公开数据集上验证提出算法的性能,主客观实验结果表明：提出算法能有效修复大面积连续不规则区域,能够较好地避免修复失真,其峰值信噪比和结构相似度及运算速度优于对比算法．     

深立井井壁图像的卷积神经网络去噪方法

为了实现井壁缺陷的自动检测,提出去除井壁图像噪声的卷积神经网络(CNN)模型(ELU-CNN)。该模型为深28层的全卷积网络模型,由5个特征提取模块(FEM)和跳跃连接组成;跳跃连接将第一卷积层的输出特征与每一个FEM的输出特征串联融合,保证图像特征的充分提取;使用残差学习来缓解梯度消失并提高收敛速度,保证训练后的去噪模型学习到的非线性映射是图像噪声;选用ELU作为激活函数,它具有软饱和性且输出均值接近于零,能增强模型对输入噪声的鲁棒性并加速模型收敛。在标准测试集BSD68、set12及实际井壁图像上,验证ELU-CNN模型的去噪性能并和先进方法作比较,实验结果表明:与FFDNet模型相比,ELU-CNN模型的平均峰值信噪比,在含噪声浓度σ为(15,25,35,50,75)的BSD68、set12测试集上分别提高了(0.17,0.11,0.08,0.05,0.03) dB、(0.18,0.16,0.08,0.06,0.07) dB。在去除井壁图像盲噪声时,ELU-CNN模型能更好地保留缺陷的纹理信息。     

连分式插值结合卷积神经网络的超分辨率重建

基于卷积神经网络的图像超分辨率重建算法是数字图像处理领域近年来的研究热点。针对低分辨率图像在预处理时使用双三次插值导致图像丢失一些重要的高频纹理细节以及网络模型优化问题,文章提出了连分式插值结合卷积神经网络的超分辨率重建方法。在原有的轻量级基于卷积神经网络的超分辨率重建算法(super-resolution convolutional neural net work, SRCNN)网络模型基础上,首先采用Newton-Thiele型连分式插值函数将低分辨率图像插值到目标尺寸;然后利用3个卷积层进行图像特征提取、非线性映射、重建与优化;该文在网络收敛时利用Radam优化算法自适应地调整梯度,并且采用余弦衰减法逐渐降低学习率。实验结果表明,该网络模型能够在轻量级的卷积神经网络下获得更丰富的纹理细节和更清晰的图像边缘。     

基于改进LRCN模型的驾驶行为图像序列识别方法

针对汽车安全辅助驾驶技术中驾驶行为识别精度低、收敛速度慢等问题,提出了一种基于改进LRCN模型的驾驶行为图像序列识别方法.采用自建驾驶行为数据集作为输入样本,经过金字塔降采样和高斯混合模型特征提取等预处理算法,得到标准视频图像序列,此序列传入以卷积神经网络和门控递归单元为基础搭建的网络模型做最优化处理,最终完成结果收敛.该模型使用Keras框架在GPU上计算,分别进行了环境适应性试验、预处理算法试验和模型对比试验.结果表明:预处理算法保证了模型的收敛,提高了模型对不同场景、不同测试对象识别的鲁棒性;在自建数据集上该模型的平均识别精度达94.3%,比传统LRCN模型高4.7%,且模型收敛的速度更快,泛化能力更强.     

基于深度学习的二值图像目标轮廓识别算法

针对传统目标轮廓识别算法对图像目标轮廓识别精度较低、 效果较差的问题, 提出一种基于深度学习的二值图像目标轮廓识别算法. 首先, 选取深度学习算法中的深度卷积网络算法识别二值图像目标轮廓, 将二值图像划分为不重叠的、 大小相同的子块图像输入深度卷积网络第一层; 其次, 卷积网络中的滤波器（卷积核）采用传统神经网络算法优化的代价函数对输入子块图像实施卷积滤波, 并将卷积滤波后下采样图像发送至第二层, 第二层经过相同处理后将结果输入第三层, 第三层输出图像即为该子块目标轮廓识别结果; 最后, 所有子块识别结束后在输出层通过全连接方法将其聚类, 并输出最终二值图像目标轮廓识别结果. 实验结果表明, 该算法识别15幅二值图像目标轮廓的识别精度平均为98.75%, 信噪比平均为2.42, 识别效果较优.     

基于卷积神经网络的合成孔径雷达图像目标识别

为了解决现有合成孔径雷达(SAR)图像目标识别算法识别率不高、泛化能力不足的问题,提出一种基于卷积神经网络的SAR图像目标识别模型CMNet网络。通过设计针对SAR图像特点的特征提取网络,在损失函数中引入中心损失与Softmax损失联合监督训练过程,兼顾类内聚合和类间分离,提高算法精度和泛化能力。网络模型中所有卷积层后引入批量归一化层加快模型收敛速度、防止过拟合。实验使用美国运动和静止目标获取与识别数据库进行测试,10类目标平均识别率达到99. 30%。结果表明,提出的CMNet网络模型具有较高的识别率和泛化能力,在公开数据集上取得较好结果。     

基于深度学习的二值图像目标轮廓识别算法

针对传统目标轮廓识别算法对图像目标轮廓识别精度较低、 效果较差的问题, 提出一种基于深度学习的二值图像目标轮廓识别算法. 首先, 选取深度学习算法中的深度卷积网络算法识别二值图像目标轮廓, 将二值图像划分为不重叠的、 大小相同的子块图像输入深度卷积网络第一层; 其次, 卷积网络中的滤波器（卷积核）采用传统神经网络算法优化的代价函数对输入子块图像实施卷积滤波, 并将卷积滤波后下采样图像发送至第二层, 第二层经过相同处理后将结果输入第三层, 第三层输出图像即为该子块目标轮廓识别结果; 最后, 所有子块识别结束后在输出层通过全连接方法将其聚类, 并输出最终二值图像目标轮廓识别结果. 实验结果表明, 该算法识别15幅二值图像目标轮廓的识别精度平均为98.75%, 信噪比平均为2.42, 识别效果较优.     

基于CNN和Bagging集成的交通标志识别

针对直接集成简单分类器对交通标志数据库进行识别出现的类别预测效果较差的问题,提出一种基于卷积神经网络(CNN)和Bagging集成学习的交通标志识别算法,采用爬虫和图像增强技术实现交通标志数据集的扩充,以CNN网络提取交通标志图像的特征,通过采用最大池化层实现图像数据下采样,采用较浅的网络深度以简化整体网络结构。在CNN网络特征提取的基础上,利用软投票机制对多项Logistic、K近邻、SVM个体学习器进行集成,实现较准确的交通标志识别。实验结果表明,该算法在TSRD交通标志识别数据库测试集上的识别准确率达到了93.00%,相对于未改进的卷积神经网络模型识别准确率提高了11.99个百分点,并较高于通过VGG16和ResNet50迁移学习实现的识别准确率,具有较快的收敛速度。     

基于多层特征描述及关系学习的智能图像情感识别

针对缺少标记的情感图像数据会严重影响卷积神经网络(convolutional neural network,CNN)性能的问题,利用半监督动态学习的方法建立了大规模的图像情感数据集——Large-scale deep emotion(LSDE)数据集。为了有效弥补图像特征和人类情感之间的差异,先将图像目标与背景进行分离,之后使用关系学习网络获得基于前景和背景图像的不同层级间的关系。在LSDE数据集、Twitter2数据集以及ArtPhoto数据集上的实验结果表明,关系学习网络能够有效地提取图像的多层级特征并学习到不同层级特征之间的关系,弥补图像特征和人类情感的差异,提高图像情感识别的准确率。     

基于CNN多层特征加权融合的闭环检测算法

针对深度学习用于闭环检测中存在空间细节特征丢失的问题,提出基于卷积神经网络(CNN)多层特征加权融合(CNN-F)的闭环检测算法.首先,采用预训练的CNN模型作为特征提取器,从网络中提取输入图像的浅层几何特征和深层语义特征;然后,调整特征图数据进行加权融合,将融合的特征图进行主成分分析(PCA)降维处理后,计算相似性得分用于闭环检测;最后,将算法在数据集New College和City Centre上进行测试.实验结果表明:CNN-F可以有效改善图像特征描述效果,相比于直接使用CNN的闭环检测算法,该算法有更好的准确性和鲁棒性.