VTC-KSVD:一种融合视觉特征与标签一致性的多标签图像标注方法

提出一种融合视觉特征及标签一致性的多标签图像标注方法VTC-KSVD.首先通过K均值奇异值分解（KSVD）法建立图像的标签一致性模型TC-KSVD,然后将多视图特征融合在该模型中.该方法既利用了训练样本的类标与编码系数的判别式模型,又利用了训练样本的标签与编码系数的关系,增加了字典的判别性,提高了标注性能.在Corel5K数据集上的实验结果表明,融合了多视图视觉特征与标签一致性的VTC-KSVD方法可以较为准确地找到视觉特征与语义特征均相似的图像近邻,能明显提升多标签图像的标注性能,并能有效缓解训练数据有限而引起的稀疏性问题.      

融合深度学习和视觉文本的视频描述方法

为解决当前视频描述任务中,生成描述视频的文本整体质量不高的问题,提出一种融合深度网络和视觉文本的视频描述模型.首先在编码阶段,将注意力机制引入3D残差模块,通过一维通道注意力与二维空间注意力增强视频特征映射,降低无关目标与噪声的影响;其次,解码阶段利用双层长短期记忆(long short-term memory,LSTM)深度网络的时序性特征,输出表述视频高层语义的文本描述;最后,为有效利用视觉文本信息丰富视频生成的语义描述,利用基于神经网络的主题模型提取出视频中的主题作为视觉文本融合进模型中.实验结果表明,本文方法在不同性能指标方面具有较好的准确性,能够更加准确地利用自然语言描述视频高层语义信息.     

基于融合SIFT特征和二次聚类视觉词典生成的场景分类方法

在传统SIFT(scale-invariant feature transform)特征检测算子基础上,增加部分伪极值点和非极值点作为特征点,提出融合SIFT特征检测算子.该算子能够提取图像中更多特征点,并使特征点在图像上分布均匀;然后在生成视觉词典前,对每幅图像的特征单独进行聚类,使视觉单词包含更多的场景信息,并缩短视觉词典的生成时间;最后使用PLSA(probabilistic latent semantic analysis)主题生成模型实现场景分类.在标准图像集上进行的对比实验表明:该方法的分类性能有一定提高,并且对多个不同场景的表现较为均稳.     

基于视觉显著性的彩色图像分割

为了提高图像显著性检测的准确性,从数学模型上探索显著性的多特征空间.利用多尺度特征提取算法获得低层视觉特征,对特征矩阵用低秩矩阵恢复理论提取显著图,并在自底向上模型基础上融合了高层视觉特征,由高层视觉特征构成一幅权重的显著图.提高了显著度和显著目标的检测性能.通过自适应阈值算法对视觉显著目标进行分割.实验结果表明,该模型比传统的模型提取的显著目标更完整、更准确.     

基于视觉内容语义相关度的图像标签自动排序方法

提出一种基于视觉内容语义相关度的图像标签自动排序方法.该方法按照标签与图像内容的语义相关程度对网络共享图像的标签进行排序.首先,算法基于贝叶斯理论给出标签与图像内容语义相关度计算的概率表述.然后,融合多种视觉特征以实现对不同语义的标签与图像内容相关度概率的准确估计,具有较高的可扩展性.实验数据采用149 915幅Flickr网站下载图像,实验结果验证了本文方法的有效性.     

基于稀疏编码的图像语义分类器模型

为了解决图像检索以及遥感图像识别等图像处理研究中本质的问题——如何对高层抽象图像语义进行有效的分类,本文采用生物视觉认知机理,结合生物特征信息,用最小生成树的方法构造图像信息语义树,提出了一个基于稀疏编码的图像语义分类器(SCISC)的模型。实验结果表明:该模型在图像分类中有较高正确率。     

一种新的基于频繁加权概念格的视觉单词生成方法

传统的视觉单词仅通过无监督聚类方法生成,标注的精度和效率较低。加权概念格是一种有效的层次数据分析工具,本文采用加权概念格对视觉单词进行分析与约简,提出了一种新的视觉单词生成方法。首先生成训练图像视觉词包的形式背景,并通过信息熵获取视觉单词的权值;其次针对各语义类别,根据用户所设定的内涵重要性阈值,构造出视觉词包模型频繁加权概念格;然后依据外延数阈值,提取对分类贡献大的描述图像语义的约简视觉单词,进一步提高了标注的精度和效率;最后通过实验验证了该方法是有效的和可行的。     

融合空间相关性和局部特征转换器的遮挡行人重识别

遮挡的行人重识别是计算机视觉中的一个挑战性领域,它面临着特征表示效率低下和识别准确率低等问题。卷积神经网络方法更注重局部特征的提取,因此难以提取被遮挡行人的特征,效果也不尽如人意。最近,视觉转换器被引入到重识别领域,并通过构建图像块序列之间的全局特征联系取得了最先进的结果。然而,视觉转换器在提取局部特征方面的性能不如卷积神经网络。因此,设计了一个基于空间相关性和局部特征序列的行人重识别网络。所提出的网络利用3个模块来提高视觉转换器的效率：（1）图像块全维度增强模块。设计了一个与图像块序列大小相同的可学习张量,该张量是全维的,并可完全嵌入到图像块序列中,用以丰富训练样本的多样性;（2）图像块序列融合重构模块。提取已经获得的图像块序列中不太重要的部分,并将它们与原始的图像块序列融合以重构原始图像块序列;（3）空间切割模块。从空间方向上对图像块序列进行切片和分组,并引入身份损失,可以有效提高图像块序列的短程相关性。对遮挡和整体重识别数据集的实验结果表明,所提网络的性能优于其他先进方法。     

基于视觉特性的图像融合质量评价新方法

建立图像融合质量评价标准是图像融合中急需解决的问题之一,本文在分析讨论了现有主、客观评价方法的基础上,提出的一种新的结合主观和客观因素的图像融合质量评价方法,该方法无需理想图像,同时充分考虑了人类视觉特性.通过对红外与微光图像在不同融合算法下的质量进行评价表明,该方法是一种实用的、有效的图像融合质量评价方法,可以为选择图像融合算法提供依据.     

基于色彩描述的图像情感语义查询

针对图像视觉特征、中间层语义和高层情感语义之间的语义鸿沟,以色彩为代表,提出了图像情感语义查询的框架.在该框架下,利用图像色彩分割结果,通过定义描述色彩语义的自然语言词汇,设计了基于模糊隶属函数的图像色彩语义描述方法,并在此基础上定义了一种查询语言,将人类对图像内容理解的经验与图像色彩语义描述联系起来,实现了图像高层情感语义的查询.实验结果表明,该方法为图像语义研究提供了一种可行的、有效的、可扩展的解决方案.     

基于多层次概念格的图像场景语义分类方法

现有理论与方法在处理图像场景语义分类时,由于缺少对图像语义关系的深入挖掘,过分依赖视觉词典数量等原因,导致场景分类精度不高.本文提出一种基于多层次概念格的图像场景语义分类方法,将特征集转换成图像视觉形式背景,利用概念格的层次分类模型,通过层次映射关系,分别构建图像与视觉词集属性概念格,在此基础上通过动态调整阈值参数,获取分类精度概念外延阈值,得到具有较高分类精度的场景语义视觉模型.实验结果表明,该模型在精确度指标上有所提高,文中方法切实有效.     

基于多种高级语义特征的图像检索技术

基于语义内容的图像检索已成为解决图像低层特征与人类高级语义之间"语义鸿沟"的关键.笔者以性能优越的回归型支持向量机(SVR)理论为基础,结合重要的图像边缘信息及人眼视觉特性,提出了一种基于多种高级语义特征的图像检索新方法.该方法首先利用Canny检测算子提取原始图像的边缘信息,并据此得到低层纹理特征与颜色特征,同时利用SVR将低层特征映射到高级语义,以获得图像的高级对象语义.然后结合图像边缘线条方向,利用SVR将线条方向映射为高级语义,以获得图像的线条情感语义.再结合人眼视觉系统感知特性,给出基于全局主要颜色的高级颜色语义.最后根据上述多种高级语义特征进行图像检索.实验结果表明,该方法能够有效地对图像高级语义进行刻画,不仅图像匹配检索效果良好,而且具有稳定的检索性能,其对于缩小低层视觉特征与高级语义概念之间的"语义鸿沟"具有重要意义.     

结合语义和依存关系的药物相互作用关系抽取

从生物医学文本中抽取药物相互作用对可以快速更新药物数据库,具有非常重要的意义与医学应用价值.现有的神经网络模型往往仅从句子序列或其他外部信息中学习到单一片面的特征,难以充分挖掘句中潜在的长距离依赖特征获得全面的特征表示.本文提出一种结合语义和依存关系的药物相互作用关系抽取方法,该方法在利用Bi-GRU网络分别从句子序列和目标药物实体的最短依存路径序列中学习语义特征表示的同时,进一步结合多头自注意力机制挖掘单词之间潜在的依存关系,通过充分融合多源特征来有效提升生物医学文本中药物相互作用对的识别和抽取性能.在DDIExtraction-2013数据集上的实验结果表明,该方法超过现有的药物相互关系抽取方法获得了75.82%的F1值.     

一种新的基于稀疏编码Hash的跨模多媒体数据检索算法

针对现有跨模Hash检索方法不能有效消除不同模态数据间语义差异的问题,提出一种新的基于稀疏编码Hash的检索方法,解决了图像低层视觉特征和高层语义之间的语义差异,改善了跨模检索的效果.使用稀疏编码进行跨模相似性检索,首先使用稀疏编码获取图像与文本的显著特征和隐含概念,然后将学习到的隐含语义特征映射到共同的抽象空间中,再通过迭代机制找到多模态数据特征表示间的相关性,最后通过高层语义抽象空间的量化得到统一的Hash编码.     

基于视觉显著特征的人脸图像分割与跟踪方法的研究

将人脑视觉注意机制应用于人脸图像分割与跟踪中,提出了一种基于视觉显著特征的人脸目标分割与跟踪算法.该方法由三步完成：首先通过模拟人脑视觉注意机制迅速而准确地利用颜色、结构、梯度和位置等信息建立人脸显著特征图.其次,基于建立的视觉显著特征图,对人脸图像视觉显著特征进行学习和聚类,最终能够快速而准确地确认和分割出图像中的人脸区域.该方法突破了传统的逐点搜索的限制,通过一个几何模型和眼图模型对图像中的人脸区域进行搜索,大大提高了人脸候选区域搜索标记的效率,减少了后续处理工作.最后,通过分割出的人脸区域得到一个有效的边界特征图,并融合人脸显著特征图对人脸进行跟踪.实验结果表明本论文所提出的基于视觉显著特征的人脸图像分割与跟踪方法能够较有效地分割出人脸.     

机器人视觉导航的几种特征点方法比较

针对移动机器人视觉导航中移动速度较快且计算能力较弱、视觉路标的图像特征检测与匹配时间之间存在矛盾这一问题,提出了选择合适的满足实时性的特征检测方法.对机器人视觉导航中获得图像特征常用的特征点法(如KLT,SURF,SIFT,Harris等)进行了探讨.通过对移动机器人导航中的图片采用不同方法进行测试,比较了不同方法所需...     

基于视觉特性的多尺度对比度塔图像融合及性能评价

针对同一场景可见光与红外图像的融合问题，提出了一种新的多尺度对比度塔图像融合方法．该方法利用对比度金字塔数据结构得到图像的多分辨序列，采用基于视觉特性的融合算子在图像的相应各级上融合源图像的细节，再通过金字塔逆变换重构出最终融合图像．这种图像处理方法具自适应性，不随各自输入图像的灰度特性而改变，同时增强了融合图像的对比度，产生了较好的视觉处理效果．对熵、交叉熵和互信息3种量化评价标准的进一步分析表明，该方法比传统的Laplacian金字塔、比率低通金字塔和小波变换融合方法的性能更加优化，其中熵提高了0．5％～3％，交叉熵降低了13％～78％，互信息提高了1．8％～8．4％，评价结果与目视效果吻合良好．     

融合FCN和LSTM的视频异常事件检测

针对传统视频异常检测模型的缺点,提出一种融合全卷积神经(FCN)网络和长短期记忆(LSTM)网络的网络结构.该网络结构可以进行像素级预测,并能精确定位异常区域.首先,利用卷积神经网络提取视频帧不同深度的图像特征;然后,把不同的图像特征分别输入记忆网络分析时间序列的语义信息,并通过残差结构融合图像特征和语义信息;同时,采...     

暗夜下基于激光辅助的路面障碍物视觉识别方法

为了解决现有视觉识别易受天气、时间等因素干扰的问题,通过交互矩阵和投影原理提出了一种暗夜下单线激光辅助的单目视觉识别方法。首先对相机进行标定,并利用交互矩阵建立并描述相机运动与图像特征变化之间的关系。然后利用投影原理进行一般障碍物特征提取和轮廓提取,最后通过试验对算法进行验证。利用激光光线的错位作为障碍物的识别标志,试验结果表明该方法克服了视觉识别对特殊环境适应性差、识别效果不好的问题,得到了比较准确的障碍物轮廓和距离,有效扩大了视觉识别的工作时间范围。     

基于视觉感知特征融合的图像质量评价

在图像压缩,图像恢复和图像传输等领域中真实评价输出图像的视觉质量是一项重要的工作。图像质量评价(IQA)旨在开发一种与人眼视觉感知紧密相关的方法。本文提出一个新的图像质量评价模型VFDP,该模型首先在视觉显著性特征基础上,结合颜色特征和梯度特征来描述局部图像质量。其中,本文采用新的计算梯度特征相似性方法,该方法融合参考图像与对应失真图像的亮度通道,并计算该通道的梯度图与参考/失真图像梯度图之间的相似性。最后采用平均偏差加权的方法对视觉显著特征,颜色特征与改进的梯度特征融合,得到图像质量评价结果。在TID2013、TID2008与LIVE数据库测试,结果表明VFDP所预测的PLCC与SROCC值优于8种主流算法预测的结果,其预测结果与人眼主观评价有较好的一致性。