基于深度监督的跨模态图文检索方法研究

基于深度监督的学习结构应用于跨模态图文检索领域,弥补了不同数据模式之间的异质性差异,通过端到端的方式同时保持语义鉴别和模态不变性,有效地学习异构数据的共同表示.本文构建了图像和文本双模态CNN神经网络模型,对损失函数进行改进,优化神经网络模型训练学习过程,以监督网络学习跨模态转换函数.在Pascal sentence数...     

基于深度残差网络和双向GRU的图像语义分割

在图像语义分割领域中,大多数方法是基于CNN网络构建的,由于CNN很难对全局上下依赖关系进行建模,从而影响语义分割的结果。为此,本研究提出基于深度残差网络和双向GRU的图像语义分割模型ResNet-BiGRU,该模型充分利用CNN局部特征学习的能力和双向GRU全局建模的优势,在Weizmann Horse数据集上进行试验,得到分辨率高、边界清晰的语义分割结果。     

一种基于图像内容的对应关系在语义检索中的应用

针对基于图像高层语义的检索方法问题,提出了一种基于自然场景图片语料库下的图片本体检索框架.该方法通过考虑图像内容之间的对应关系,引入人类正常图像检索过程.利用对图像内容的分块语义注释的描述,该框架解决了目前图像检索中的问题.构建好的领域本体可以用来完成定性语义描述和检索,实现了包含语义概念和空间关系的自然语言查询.最后,对该应用的有效性进行了评估,实验结果表明,该框架在检索的精确度和相关度上都表现得非常好.     

二进制引力搜索结合LSI的混合CBIR算法

针对高级用户描述的对象与低级的图像特征之间的语义差异问题,将潜在语义索引(LSI)与二进制引力搜索(BGSA)结合,提出一种基于内容的图像检索(CBIR)算法.该算法利用BGSA同时进行自适应特征提取和特征选择,LSI作为CBIR中的一个语义模型,图像特征矩阵的构建由Gabor小波、Daubechies小波和小波矩完成.实验在Corel收集的1 000幅图像库上进行,对某些类别的图像,该算法的检索精度可高达100%,前10幅图像,算法的准确率为83.18%,对于前100幅图像,精度仅降至67.40%.相比其他优秀算法,提出算法在平均精度和平均查全率方面均有显著提高,实用性较好.     

基于块匹配的综合图像检索技术

提出了一种基于文本、语义和特征块匹配相结合的综合图像检索方法．首先,将图像入库时进行人工标注;然后运用SVM机器学习框架,建立先验知识库,提取图像的语义特征;然后利用Harris算子检测出图像的特征点,进一步统计出两个图像中匹配的特征块数目,计算图像间的相似距离．实验结果表明,这种综合检索方法能更全面、更精确地描述了图...     

注意力引导的三维卷积网络用于遥感场景变化检测

场景级变化检测策略可以容忍高分遥感影像的大量噪声,进而从语义层级更准确地描述遥感图像在前后时相的变化,为高分辨率影像变化检测提供了可能.本文提出了一种注意力引导的三维卷积神经网络用于高分遥感影像场景变化检测的方法.首先构建一个在AlexNet基础上进行简化的三维卷积网络,然后加入一个语义注意力模块来进一步提取地表覆盖变...     

基于深度学习的图像修复方法研究

基于深度学习的图像修复方法已经成为图像处理中的热门研究问题,有着广泛的应用前景.基于编码器-解码器,提出了一种基于注意力机制的编码器-解码器修复图像网络模型,优化改进了损失函数.与CVPR2017的General Inpainting图像修复算法进行定性和定量比较结果表明,所提出的修复网络模型能修复出真实且具有丰富细节...     

一种基于双重网络模型的单幅图像超分辨率方法

本文对深度学习领域中的高效亚像素卷积神经网络（efficient sub-pixel convolutional neural network,ESPCN）算法进行了改进,通过加入残差网络知识,调整原有的ESPCN构造结构,提出了一种双重网络模型下单幅图像超分辨率重建方法。通过实验证明：该算法能够有效地提高单幅图像超分辨率重建的精度,丰富重建后的细节信息。     

采用双树复小波和混合概率模型的光学相干层析图像去噪

为了去除光学相干层析图像中的斑点噪声,提出了基于双树复小波变换的混合概率模型ProbShrink算法. 针对原始光学相干层析图像中信号和噪声的分布特点,在微观层面引入了混合概率模型：将OCT图像取对数后进行双树复小波变换,对于层状边缘中与边缘点“方向一致”的小波系数,采用广义高斯模型描述;对于其他小波系数,则采用高斯模型进行描述. 而后采用改进的ProbShrink算法进行去噪. 实验结果表明,该算法在大幅提升信噪比的情况下保持边缘锐度的相对稳定,优于传统的基于小波变换的去噪方法.     

一种结合全局和局部特征的图像描述生成模型

针对局部特征的图像描述模型存在的不足之处,提出了一种结合局部和全局特征的带有注意力机制的图像描述生成模型.在编码器-解码器结构框架下,在编码器端利用InceptionV3和VGG16网络模型分别提取图像的局部特征和全局特征,将两种不同尺度的图像特征融合形成编码结果.在解码器端,利用长短期记忆网络将提取的图像特征翻译为自然语言,借助微软COCO数据集进行模型训练和测试.实验结果表明:与基于局部特征的图像描述生成模型相比,该方法能够从图像中提取更加丰富完整的信息,生成表达图像内容更加准确的句子.