基于经典卷积神经网络的智能煤矸识别

为了准确快速地识别原煤中的煤和矸石,基于机器视觉的方式,采取经典卷积神经网络模型对煤和矸石图像进行识别分类;利用在以实验室环境下采集的小批量煤和矸石图像数据,运用数据增强技术扩充数据集,在深度学习框架中搭建各种经典卷积神经网络模型,对采集的数据集进行训练、验证和测试,获得各经典网络的训练准确率和损失函数曲线,并结合训练...     

基于深度哈希学习的商标图像检索研究

大规模图像检索具有广泛的应用前景,其核心在于图像特征提取和高效相似性计算.深度学习技术在图像特征提取具有较强的特征表示能力,同时哈希技术在高维数据近似计算方面具有较好的性能.目前,基于哈希学习的技术在大规模图像检索及相似性查询方面获得了广泛的研究和应用.本文结合卷积神经网络和哈希技术实现商标图像检索,通过深度学习技术提取商标图像特征,使用位哈希对数据对象编码,在海明空间折中查询的质量和效率.基于卷积神经网络模型,提出了深度哈希算法,并研究了损失函数和该数据集上的优化器选择,通过获取符合哈希编码规范的位编码实现对在二元空间对商标图像数据快速检索,该方法分为离线深度哈希学习和在线查询两个阶段.在真实商标数据集上进行实验,实验结果表明,本文方法能够在商标数据集上获得较高质量的位编码,并具有较高的检索精确度和在线查询效率.     

一种不同色域空间下的无监督图像分割技术

针对图像分割有监督学习模型训练时间长、需要大量训练样本才能确保模型精度要求且样本标记费时费力的问题,提出了在不同色域空间下基于神经网络的无监督图像分割方法。首先将图像进行不同颜色空间模型转化,得到不同色域空间下图像的颜色表示;其次利用felz和quickshift方法,对转换后的图像进行粗粒度聚类,形成超像素结果,并对每个像素打上相应的标签;最后利用神经网络细粒度的图像特征分辨能力进行微调,得到最终的图像分割结果。该方法在公开的COD10K等数据集上选取了数据集进行验证,实验表明,文中方法能够对图像进行合理分割,且与有监督长时间训练过程相比,无监督的推理耗时大大缩短,速度显著提高。     

基于语音与人脸参数化表示的跨模态稠密深度

为了提高跨模态人脸表示与合成的性能,针对语音与人脸图像2种模态数据,提出一种基于人脸参数化表示与稠密深度网络相结合的面部生成方法。针对输入语音模态,通过对信号进行频谱变换,将一维时域信号转换到二维频率域,可提取频域上稳健的特征描述;针对输出图像模态,利用主动外观模型对不同面部区域独立建模以降低区域间的相关性,并提取紧凑的人脸参数化特征;为了获得有效的跨模态学习性能,提出采用稠密连接的深度卷积神经网络学习语音、图像2种模态的回归预测,并通过预测的人脸参数进行面部重构,所采用的深度网络模型可以加强特征传播与特征复用,有利于增强面部细节的合成。在2组音视频数据集上验证了提出方法的有效性。     

基于物体几何性质的单幅图像三维重建

基于单幅图像的三维重建,需要的信息少,避免了基于多幅图像三维重建时图像匹配的难点,成为基于图像三维重建研究的一个热点。物体的深度值的计算是单幅图像三维重建的研究难点,针对此难点,利用规则物体的几何性质,对单幅未标定图像进行三维重建。首先利用消失点进行摄像机标定,然后手动获得需要的最少二维点,通过标定矩阵和物体几何性质计算出这些二维点的三维坐标,进而得到物体精确重建需要的所有信息,最后利用OpenGL实现三维重建和纹理映射。实验表明,此方法可恢复出目标物体的精确三维结构,能够满足一般虚拟现实的需要。     

融合深度特征的多示例学习陶俑图像分类

针对陶俑文物的图像理解问题,陶俑分类可为其提供有价值的信息,该文提出了一种融合深度特征的多示例学习(MIL)方法用于陶俑图像分类。首先,对陶俑图像进行分割,提取出分割区域的手工特征(包括尺度不变特征变换和形态特征)和卷积神经网络特征;接着,采用联合字典学习获取多示例学习的多概念点,并使用多核将深度学习特征与传统手工特征融合到多示例学习框架;最后,利用直推式支持向量机进行分类。在陶俑图像集和MIL数据集上的实验结果表明,该文方法是有效的,且相较其他深度和非深度MIL算法具有更高的分类准确度。     

基于深度学习的红外与可见光图像融合综述

图像融合技术是指从不同的源图像中提取并融合互补的信息,生成一幅信息量更丰富、对后续高级视觉任务提供足够支持的图像.红外与可见光图像融合（Infrared and Visible Image Fusion,IVIF）是图像融合领域的一个重要分支.近年来,深度学习技术在视觉计算领域表现出了良好的性能,尤其是基于自编码器、卷积神经网络、生成对抗网络等几种基于深度学习的IVIF技术得到了蓬勃发展.为此,对基于深度学习的IVIF算法的方法、数据集和评估指标等进行了总结和阐述;通过大量的实验,进行定性和定量的结果分析,对比了各类基于深度学习IVIF算法的性能;最后,讨论了该领域未来发展的一些前景和研究方向.     

一种改进的深度网络残差学习的图像降噪方法

近年来,基于深度卷积神经网络的学习方法在图像降噪方面取得了前所未有的成果,通过调整网络结构和参数来获取更好的图像降噪效果已成为研究热点.降噪卷积神经网络在深度神经网络中采用残差学习方法,在提高降噪效果的同时,在一定程度上解决了盲降噪问题.其不足之处在于算法收敛时间长.该文针对降噪卷积神经网络结构做了进一步的改进,提出了一种基于反卷积降噪神经网络的图像降噪算法.该文工作的主要特色如下：1) 在原有的网络结构中,引入反卷积神经网络,优化了残差学习方式;2) 提出一种新的损失函数计算方法.使用BSD68和SET12测试数据集对本文提出的方法进行验证,实验结果表明,该文算法的降噪性能与降噪卷积神经网络算法相比,在相同降噪效果情形下,该文算法的收敛时间缩短了120%～138%.同时,与传统的深度学习图像降噪算法比较,该文方法的降噪效果和运行效率也都有提高.     

基于多尺度深度卷积特征的图像检索

为了检索图像中不同位置和不同大小的感兴趣目标,提出一种基于多尺度深度卷积特征的图像检索方法.首先利用卷积神经网络构造一个深度学习框架,利用随机梯度下降和后向传播算法训练深度学习模型;其次利用训练得到的模型提取图像在不同尺度下的卷积特征,对不同尺度下的卷积特征进行PCA降维,研究降维后的检索性能;最后为了提高深度特征对图像的刻画能力,对不同尺度下降维后的卷积特征进行特征融合.大量的实验表明本文所提算法对图像检索是有效的.     

航拍图像中绝缘子串的识别与分割方法研究

为实现航拍图像中绝缘子串的识别与分割,以Faster R-CNN和全卷积神经网络(fully convolutional networks,FCN)为框架构建了深度学习算法,并以算法为核心搭建了绝缘子串图像检测平台.算法首先使用Faster R-CNN模型,结合Resnet-101深度残差卷积神经网络,对所有感兴趣区域进行分类,再对Bounding Box回归和坐标进行修正,用于绝缘子串的识别,接着以FCN网络为基础,通过微调使原网络适应新的绝缘子串数据集,实现了在复杂背景下绝缘子串的语义分割.实验结果表明,文中给出的方法与已有方法相比,不仅能够在不同光照条件、不同拍摄角度以及复杂背景干扰下实现绝缘子串的识别与分割,且处理时间短、精度高和鲁棒性强.     

深度学习下的高效单幅图像超分辨率重建方法

提出一种基于深度学习的高效单幅图像超分辨率重建方法,增加一个亚像素卷积层和一个替换的级联卷积,即设计一个具有合适深度的卷积神经网络,以保证图像的重建质量,并采用级联小卷积核提高运行速度.在标准的公共数据集上进行实验测试,结果表明:与亚像素卷积神经网络(ESPCN)算法相比,所提算法重建的高分辨率图像的质量和速度皆显著提高;将其应用于实际项目中,可端到端地重建低分辨率服装风格图像,获得高分辨率图像.     

基于深度学习的树种图像自动识别

【目的】为了探究深度学习方法用于林业树种图像智能识别的可行性,提出一种基于深度学习方法的自动识别树种新方法。在TensorFlow框架下,对卷积神经网络(CNN)模型进行改进,对7类树种图像进行自动识别研究。【方法】首先,在图像库建立时,为增加特征选择多样性,选择树木的树皮和树叶图像,保留自然背景;另外,考虑到同一树种在不同树龄条件下树皮图像存在差异,因此加入不同树龄的树皮图像,并用胸径指标来表示树龄大小。其次,对每类树种图像随机挑选100张作为测试集,剩余数据集全部作为训练集。通过反复试验比较不同CNN结构设置、卷积层数量、全连接层层数、学习率等对结果的影响。采用Adam算法代替传统的随机梯度下降(SGD)算法,对模型进行优化,用指数衰减法对学习率进行调节,在交叉熵函数中加入L2正则项对权重进行惩罚,并采用Dropout策略和ReLU激励函数,以避免训练过程中过拟合现象。最后,确定适合试验要求的13层CNN结构,同时比较深度学习方法和传统人工特征识别方法的差异,与已有的树种图像识别方法做对比。【结果】提出的13层树种图像识别模型,对训练集和测试集取得了理想的识别效果,识别率分别为96.78%、91.89%,在未参与训练的验证集上取得了96%的平均准确率。相对于已有的人工特征识别方法,所提出的方法识别效率和准确度更高。【结论】基于改进的卷积神经网络树种识别模型识别效果明显高于传统方法,说明所提出的方法能够应用于树种识别,可为林业树种图像自动识别提供一条新思路。     

基于卷积神经网络的高光谱图像谱-空联合分类

随着深度学习的发展,卷积神经网络在各种视觉任务中都具有优越的性能;特别是在二维图像分类上,更是获得了很高的分类精度。针对于高光谱图像分类问题,设计了一种新的卷积运算;利用高光谱图像谱-空联合信息建立三维卷积神经网络对其进行分类;并针对高光谱图像样本不均匀性,在网络输出不同类别加入不同的权重加以训练。通过对两个公开高光谱图像数据集的测试,相对于传统方法,能够得到更高的分类精度,表明卷积神经网络对高光谱图像具有更强的特征表达能力。     

基于Gabor特征与卷积神经网络的人体轮廓提取

为解决传统方法无法精确分割单幅图像中人体轮廓的问题,提出一种将Gabor小波特征与卷积神经网络结合的人体轮廓提取方法。首先计算人体图像8个方向的Gabor特征,并将计算结果传入改进的卷积神经网络进行人物模型训练;再将待测图像计算Gabor特征后传入人物模型进行检测,从而输出人物掩膜;对掩膜进行形态学处理并同原图像进行相与操作,最终得到人体轮廓。经VOC2012数据集上测试,该人体轮廓提取方法的准确度高达96%。实验结果表明,通过将传统特征提取方法与深度学习的特征学习方法相结合,不但提高了特征学习的速度还提高了检测的准确度。     

基于卷积神经网络的单幅图像室内物体姿态估计

单幅图像的目标检测和物体姿态估计一直是计算机视觉领域中非常重要的研究内容.利用卷积神经网络对单幅室内场景图像进行研究分析,提出了一种基于卷积神经网络的单幅图像室内物体姿态估计算法.该算法采用直接分类预测的方法来实现物体的姿态估计.通过改进Faster-RCNN网络结构,利用室内场景数据集SUNRGB-D训练网络,实现端到端单幅室内图像目标检测和姿态估计.实验结果表明,该算法目标检测平均准确度为70%,姿态估计结果中平移估计准确度为28%,旋转角度估计准确度为30%.     

基于环视相机的无人驾驶汽车实例分割方法

针对环视鱼眼图像中目标几何畸变大导致建模难的问题,提出一种基于可变形卷积网络的实例分割方法,主要是在Mask R-CNN框架的基础上引入可变形卷积和可变形RoI Pooling(候选区域池化)来提升网络对几何畸变的建模能力.针对深度神经网络训练数据缺乏、易过拟合的问题,提出了基于多任务学习的训练方法.首先将现有的大规模普通图像数据集转换为鱼眼数据集来弥补训练数据不足的问题,然后采用多任务学习的训练方法将转换的图像和真实图像放在同一个框架中训练以提高网络的泛化能力.用该方法在真实的环视鱼眼图像上做测试,结果表明:相对于原始Mask R-CNN的方法平均精度提升了3.1%,证明了该方法在真实交通环境中的有效性.     

一种基于深度学习的图像超分辨率重构方法

近年来,基于卷积神经网络(CNN)的单幅图像超分辨率重构得到了广泛应用﹒然而,随着网络不断加深,也同时出现了参数过多、计算代价过大和难以训练等问题﹒为解决上述问题,提出一种新的深度残差密集网络(DRDN)框架并应用于单幅图像超分辨率重建﹒首先,网络通过密集连接充分利用了低分辨率图像从浅层到深层的各层特征,为超分辨率重构提供更多的低分辨率图像信息;其次,为了充分融合全局特征信息,通过残差学习的方式进行融合重构,同时为了缓解深层网络带来的训练困难等问题,网络采用多路跳步连接,使误差更加快速地传到各层网络;最后,将该方法与深度递归残差网络(DRRN)方法在公共数据集上进行了实验比较,结果表明DRDN在网络稳定性、时间效率、收敛速度和重建效果等方面都优于DRRN﹒     

一种基于多尺度融合卷积神经网络的人群计数方法

人群间的相互遮挡和多变的空间尺度是基于单幅图像人群计数算法面临的主要挑战.近年来,基于深度学习的人群计数算法在该问题上取得了显著的成效,然而越来越深的网络结构给模型的训练和应用带来了困难.为了解决上述问题,提出了一种基于多尺度融合卷积神经网络(multi-scale fusion convolution neural network,MSF-CNN)的人群计数方法.方法采用三列不同大小卷积核的卷积神经网络来提取不同空间尺度的图像特征,同时在网络结构中引入融合层将提取到的特征进行融合并求取密度图,最后对密度图积分求和得到人群数量.在ShanghaiTech数据集及UCF_CC_50数据集上的实验结果表明,该方法能够适应复杂的场景,有效减少人群间相互遮挡和空间尺度的变化对计数结果的影响,同时模型易于训练,明显优于现有人群计数方法.     

一种融合全局时空特征的CNNs动作识别方法

针对基于卷积神经网络(CNNs)的人体动作识别方法通常采用空域或时域局部特征的不足,提出一种融合人体动作全局时域和空间特征的双通道CNNs动作识别模型.空间通道对动作图像进行深度学习,采用多帧融合的方式提升准确率,全局时域通道对能量运动历史图(EMHI)进行深度学习,最后融合两个通道信息识别人体动作.利用现有的大型数据集进行预训练,以解决学习过程中训练样本不足问题.在UCF101数据集和该项目小样本数据集上进行实验,结果证明了该方法的有效性.     

基于卷积神经网络的固定群体中目标人物分类

卷积神经网络作为深度学习的重要分支,在图像识别、图像分类等方面有广泛的应用,其中快速特征嵌入卷积神经网络框架(convolutional architecture for fast feature embedding,Caffe)是目前炙手可热的深度学习工具.针对固定群体中的目标人物,提出一种基于卷积神经网络的分类方法,该方法不依赖于人脸图像集,而是通过摄像头采集视频,并利用直方图的归一化互相关方法从视频中截取训练图片,再通过Caffe产生训练模型,并将个体目标图片在模型中进行匹配,达到在固定人物群体中对个体目标进行分类的目的.实验结果表明,利用前期的训练模型可对固定群体中的个体目标进行准确匹配.