OFP-VTON:基于感受野模块的原有特征保持虚拟试衣网络（英文）

基于计算机视觉的虚拟试衣(virtual try-on, VITON)技术是指将试穿服装按照模特图像特征进行扭曲并合成到模特图像中,以替换原有服装部分。当前的虚拟试衣技术主要存在两个问题：保留模特图像头部、下装和背景等原有特征不足;扭曲后的试穿服装与模特图像匹配度不高。针对这两个问题,提出一种原有特征保持虚拟试衣网络(original feature preserving virtual try-on network, OFP-VTON),由语义分割图生成、试穿服装扭曲和试穿图像合成三部分组成。在试穿服装扭曲阶段通过使网络学习模特图像中所穿服装的扭曲映射,以更好地约束试穿服装扭曲;在试穿图像合成阶段提取并保留模特图像原有特征,并引入感受野模块(receptive field block, RFB)以尽可能保留试穿服装特征。在公开的VITON数据集上的定性与定量实验表明,OFP-VTON能更好地保留原有特征,扭曲后的试穿服装与模特图像匹配度高。     

促进深度学习的虚拟实验教学改革

虚拟实验的深度学习是指在虚拟实验中,教师引导学生组建学习共同体来解决复杂问题,从而培养学生高阶能力的有意义的学习过程.针对目前虚拟实验教学实践中深度学习存在的问题,通过分析和解读深度学习的发生机制,构建了以问题为核心的学习内容,并注重学习的自主性和交互性,创建了具有真实性的疑难情境和具有多样性的评价体系,以充分发挥虚拟实验促进深度学习的本质属性.     

基于深度学习的图像人脸识别方法研究

使用计算机进行面部表情识别是当前人脸面部表情识别的热点,在深度学习技术的基础上,应用级联分类器对面部进行整体检测和分区定位后,提出并使用了一种基于自注意力机制的深度卷积神经网络,模型采用Mini-Xception为基本网络融合了注意力机制,再通过训练卷积神经网络构建表情分类模型,最后实现较为快速准确的表情识别。文中采用几种方法进行实验对比,并对最终的实验结果加以分析。结果表明,在相同的参数设置下提出的方法能明显提高分类性能、识别的精准度以及面部表情变化检测的实时速度。     

基于深度学习的树种图像自动识别

【目的】为了探究深度学习方法用于林业树种图像智能识别的可行性,提出一种基于深度学习方法的自动识别树种新方法。在TensorFlow框架下,对卷积神经网络(CNN)模型进行改进,对7类树种图像进行自动识别研究。【方法】首先,在图像库建立时,为增加特征选择多样性,选择树木的树皮和树叶图像,保留自然背景;另外,考虑到同一树种在不同树龄条件下树皮图像存在差异,因此加入不同树龄的树皮图像,并用胸径指标来表示树龄大小。其次,对每类树种图像随机挑选100张作为测试集,剩余数据集全部作为训练集。通过反复试验比较不同CNN结构设置、卷积层数量、全连接层层数、学习率等对结果的影响。采用Adam算法代替传统的随机梯度下降(SGD)算法,对模型进行优化,用指数衰减法对学习率进行调节,在交叉熵函数中加入L2正则项对权重进行惩罚,并采用Dropout策略和ReLU激励函数,以避免训练过程中过拟合现象。最后,确定适合试验要求的13层CNN结构,同时比较深度学习方法和传统人工特征识别方法的差异,与已有的树种图像识别方法做对比。【结果】提出的13层树种图像识别模型,对训练集和测试集取得了理想的识别效果,识别率分别为96.78%、91.89%,在未参与训练的验证集上取得了96%的平均准确率。相对于已有的人工特征识别方法,所提出的方法识别效率和准确度更高。【结论】基于改进的卷积神经网络树种识别模型识别效果明显高于传统方法,说明所提出的方法能够应用于树种识别,可为林业树种图像自动识别提供一条新思路。     

基于深度学习的场景遥感图像分类方法研究

为了解决场景遥感图像通常分类性能较差、分类精度不高的问题,提出一种基于改进VGG16的场景遥感图像分类方法.针对传统VGG16模型参数量庞大的问题,对通道数以及参数量进行缩减.在算法运行过程中对数据进行正则化处理,并在分类方法中加入注意力机制.通过将注意力机制与CNN模型进行结合,并对两者进行端到端的训练,提高了模型的...     

一种基于深度学习的中文图像描述模型

近年来编码器和解码器组成的深度神经网络在图像描述任务中取得了很好的表现,一般编码器采用深度卷积神经网络,解码器采用循环神经网络.针对循环神经网络存在的梯度消失问题,在图像描述任务中表现为循环神经网络后续时间片生成的单词缺乏先前的信息引导,提出了记忆助手的方法,并给出了一种面向大规模中文数据集的多模态神经网络模型.该模型...     

基于深度学习的汽车轮毂缺陷自动分割技术

针对建立轮毂无损检测智能化平台的需要,本文提出一种基于深度学习算法的轮毂缺陷自动分割方法,利用卷积神经网络的结构和径向基函数神经网络的非线性特点,构造一种深度学习网络结构来模拟人类的视觉感知。本文依据汽车轮毂X射线图像,利用U-Net网络来训练轮毂缺陷分割模型,并在感兴趣区域的基础上模拟人脑层次感知系统,该层次感知系统能识别感兴趣区域的灰度像素,通过深度学习分层网络和卷积神经网络,逐层提取缺陷区域的内在特征,从而实现轮毂缺陷的自动分割。实验表明本方法针对复杂轮毂缺陷的识别率达到90%以上,且识别时间开销大约5ms/张,优于传统方法。可见该方法能够满足轮毂缺陷自动分割的需求,具有潜在的应用前景。     

基于CAD模型虚拟仿真数据的深度学习目标检测

有效的深度学习网络在训练过程中所需数据规模大,而数据的采集与标注极为耗时耗力,限制了深度学习在工业上的应用范围.针对该问题,基于工业生产中常用的CAD模型,结合实际的工业应用背景,设计了一套参数化生成虚拟仿真工件图像数据集的方法,避免工业现场繁琐的平台搭建与数据采集过程.同时,提出一种基于YOLOv3的改进深度学习网络...     

基于深度学习的图像抠图技术

图像抠图(image matting)技术是图像编辑技术的基础, 广泛应用于影视后期制作和日常生活. 基于深度学习的图像抠图网络, 通过输入的原图和三元图来估计每个像素的 $alpha$ 值. 在原下、上采样的图像抠图技术基础上, 针对抠图数据集图像差异较大容易造成网络收敛较慢的问题, 在每个卷积层后加入了批量标准化(batch normalization, BN)层, 对输入数据进行归一化操作, 加快模型收敛速度, 同时参数更新方向更符合数据集整体特性; 针对抠图任务需要更关注物体边缘部分的特点, 使用可变形卷积(deformable convolution)层替换普通卷积层. 可变形卷积层会根据不同输入数据自适应学习卷积核形状, 有效扩大感受野范围, 在细节部分有更好的预测效果.     

基于深度学习的图像抠图技术

图像抠图(image matting)技术是图像编辑技术的基础, 广泛应用于影视后期制作和日常生活. 基于深度学习的图像抠图网络, 通过输入的原图和三元图来估计每个像素的 $\alpha$ 值. 在原下、上采样的图像抠图技术基础上, 针对抠图数据集图像差异较大容易造成网络收敛较慢的问题, 在每个卷积层后加入了批量标准化(batch normalization, BN)层, 对输入数据进行归一化操作, 加快模型收敛速度, 同时参数更新方向更符合数据集整体特性; 针对抠图任务需要更关注物体边缘部分的特点, 使用可变形卷积(deformable convolution)层替换普通卷积层. 可变形卷积层会根据不同输入数据自适应学习卷积核形状, 有效扩大感受野范围, 在细节部分有更好的预测效果.     

基于深度学习的虚拟视点重建研究

基于人眼立体视觉的裸眼3D显示技术通过虚拟视点快速渲染可以获得具有密集视点的3D内容,让用户不需要任何辅助设备就可以身临其境地感受三维场景.针对传统获取方法因渲染速度慢、重建质量不高、视差受限等问题,提出基于无监督神经网络的虚拟视点重建方法,基于单目立体深度估计和傅里叶切片理论将2D图像直接生成任意视角虚拟视点.试验结果表明,本文算法比传统方法对任意视角视点的理论渲染速度大幅提升,空洞区域修复更自然.     

基于改进深度学习的车牌字符识别技术研究

为解决传统车牌字符检测方法可靠性差、效率低的问题,提出采用haar级联检测结合深度学习方法的卷积神经网络车牌字符识别方法。采用haar级联分类器提取出图片中车牌的位置,通过灰度、阈值、腐蚀、膨胀等预处理技术提取出车牌字符;通过收集字符数据,对CNN神经网络在角度倾斜、光照变化和噪声污染条件下进行训练,使用训练后得到的模型对车牌字符图片进行识别。实验结果表明, 该方法识别车牌字符正确率较高,在角度倾斜、光照变化和噪声污染条件下的准确性和稳定性较好,能够有效地降低车标识别的错误率。     

一种基于深度学习的卫星遥感图像分割方法

近年来,基于深度学习的语义分割方法得到了广泛应用.本文针对实际遥感图像中的语义分割问题,为了减少网络参数和计算量,以及提高网络性能,提出了一个使用通道注意力机制的卷积神经网络(channel attention network,CA-Net).首先,对高分二号(GF-2)遥感图像进行预处理和数据标注,得到一个7分类数据...     

基于深度学习的虚拟到现实车道保持控制

深度学习由于其强大的非线性拟合能力,已经被广泛应用于无人驾驶控制器训 练领域． 然而,由于其训练过程需要大量标注数据,耗费大量人力物力,且人为采集的数据 很难覆盖危险工况,导致训练的模型泛化能力较差,影响了深度学习控制器的性能提升． 本研究提出一种从虚拟世界采集样本,将训练模型向真实世界泛化的端对端卷积神经网 络(CNN)控制器训练框架． 为缩小虚拟和真实世界的差距,本研究以语义分割图像作为 媒介,将虚拟和真实图像分别转化为语义分割图像用于训练和测试． 结果表明,虚拟到现 实训练得到的控制器可以较好地跟随道路变化趋势,经权值微调后预测输出与人类驾驶 员操作相近,最大平均绝对误差和均方根误差分别为 1． 6939°和 2． 8850°,平均绝对百分 比误差在 5%以内．     

基于生成对抗网络的虚拟试穿方法

为了解决传统虚拟试穿方法存在的手臂遮挡与细节模糊问题,提升重建图像的视觉质量,提出一种基于生成对抗网络的虚拟试穿方法.通过纹理提取模块和残差样式编码模块提取服装细节信息,并结合人体表征输入与人物姿势来重建试穿图像,解决了手臂遮挡问题,实现了对扭曲失误服装的修复还原,且重建图像服装边缘清晰.定性分析表明,改进虚拟试穿方法...     

基于深度学习的输变电设备紫外放电光斑分割方法

随着紫外成像技术的发展,高压电力设备对于紫外成像图谱的量化分析提出了更高的要求。紫外图谱的量化分析需要用到除紫外成像仪所输出“光子数”额外的紫外光斑图像信息,所以需要将紫外放电光斑从可见光的背景中分割出来。然而,传统紫外图谱光斑分割方法仍存在复杂背景及小光斑分离困难、特征选取复杂、分割精准度低等问题。基于上述问题,提出了一种基于深度学习的紫外图谱光斑分割提取的方法。首先,采用紫外成像仪拍摄电力设备放电缺陷紫外图谱;其次,分别构建FCN-32s、FCN-16s、FCN-8s 3种全卷积网络(fully convolutional networks, FCN)子模型架构,并利用随机梯度下降法进行模型训练;最后,实现输变电设备放电缺陷紫外图谱主光斑的自主分割提取。经过对FCN 3种子模型架构的训练、测试和对比分析,结果表明：FCN-16s模型为紫外光斑分割提取的最佳模型,测试准确率可达99.34%。结果表明基于深度学习的紫外图谱光斑分割方法准确高效,为紫外光斑的量化提取及电力设备放电缺陷的紫外诊断提供了参考。     

基于深度学习的医学图像配准研究进展

图像配准是图像引导手术、图像融合、器官图谱生成、肿瘤和骨骼生长监测等临床任务应用的关键技术,也是一个极具挑战性的问题。近年来,深度学习技术对医学图像处理方法的研究产生重要的影响,在医学图像配准领域发展迅速。对使用深度学习技术实现医学图像配准的研究进行综述,首先按照深度学习模型将医学图像配准方法分为3类,包括监督、弱监督和无监督医学图像配准;然后分别介绍国内外研究进展,并总结这些研究方法的优缺点;在此基础上,阐述常用的深度学习配准框架以及评价标准,并总结常用的开源医学影像数据集;最后对深度学习技术在医学配准图像领域中存在的问题进行分析,展望未来发展的方向。     

基于深度学习的X射线焊缝缺陷识别

为了提高缺陷识别效率,提出利用基于深度学习网络进行焊缝缺陷识别。在分析X射线焊缝缺陷图像特征的基础上,构建一种基于模拟视觉感知原理的深度学习网络结构,并对卷积神经网络的卷积模板大小及层数进行了分析,对卷积神经网络隐藏层中2种不同的激活函数进行了实验验证,针对性地提出优化方法。该深度学习神经网络可以避免对焊缝缺陷图像特征的提取,直接判断疑似缺陷图像是否为缺陷。对580张图像进行了实验,结果表明,本文所提方法对SDR图像的识别准确率超过98%,优于传统方法。且所设计系统具有自动学习X射线焊缝缺陷图像中复杂的深度特征的特点,实用性较强。     

基于深度学习的电网安全态势感知

随着电网的发展和技术的进步,电网结构日益复杂,能够及时有效地对电网的安全态势进行感知显得尤为重要。深度学习,近些年在文本、语音、图像等方面取得了巨大进展,同时在人工智能领域也占据着重要地位。将深度学习与电网的安全态势感知相结合,提出了基于深度学习的电网安全态势感知。在态势理解阶段,从电网的静态安全性和动态安全性两个方面出发,构建了一套较完整的电网安全态势评价体系,用来表征电网的运行轨迹。在态势预测阶段,构建深度学习模型,完成对电网安全态势的感知。最后以IEEE39节点系统为例,将其与BP(back propagation)神经网络和RBF(radial-basis function)神经网络预测模型进行了对比分析,验证了深度学习可以有效地对电网的安全态势进行感知,且预测精度高于传统的神经网络模型。     

基于深度学习的肺部医疗图像识别

肺结节作为肺癌早期诊断的重要特征,对其识别和类型判断具有重要意义.目前使用迁移学习的识别算法存在着源数据集与目标数据集差距过大问题,对于肺结节特征提取不足,导致效果不佳.故此提出了基于卷积神经网络的改进神经网络模型.将预训练的GooLeNet Inception V3网络与设计的特征融合层结合,提高网络对特征的提取能力;为确定最佳组合方式,对各组以准确率为标准进行测试.实验在LUNA16肺结节数据集上进行.进行分组测试结果表明,改进的网络准确率达88.80％,敏感度达87.15％.在识别准确率和敏感性指标上,与GooLeNet Inception V3算法相比,分别提高了2.72,2.19个百分点.在不同数据集比例下进行实验,同样达到了更优的效果,具有更好的泛化能力.可以给临床诊断提供相对客观的指标依据.