面向自然语言理解的图像情感语义检索

随着多媒体技术的迅速发展,图像资源的管理和检索日益成为研究热点,目前的图像检索技术因忽略了情感因素而显得力不从心.通过对自然语言分词,应用OCC情感模型,实现了使用自然语言对图像库进行情感语义检索.以百度图片频道下载的800张自然风景图像数据建立图像库并进行测试,实验结果表明取得了良好的检索效果,可为更多类型的图像情感语义检索打好基础,具有一定的实用价值.     

基于色彩描述的图像情感语义查询

针对图像视觉特征、中间层语义和高层情感语义之间的语义鸿沟,以色彩为代表,提出了图像情感语义查询的框架.在该框架下,利用图像色彩分割结果,通过定义描述色彩语义的自然语言词汇,设计了基于模糊隶属函数的图像色彩语义描述方法,并在此基础上定义了一种查询语言,将人类对图像内容理解的经验与图像色彩语义描述联系起来,实现了图像高层情感语义的查询.实验结果表明,该方法为图像语义研究提供了一种可行的、有效的、可扩展的解决方案.     

基于Adaboost-BP神经网络的图像情感分类方法研究

面对图像迅速增长的局面和用户检索图像的要求,依靠先进的技术提取图像蕴含的情感语义并对其分类正是当前各行业急需解决的问题.为此,以自然风景图像为例,提出了一种基于Adaboost-BP神经网络的图像情感语义分类方法,通过OCC情感模型描述图像的情感,使用Adaboost算法组合15个BP神经网络弱分类器的输出,构建强分类器,旨在提高图像情感语义分类的效率.使用百度图片频道上下载的600张自然风景图像进行训练和测试,实验通过与BP神经网络方法测试结果相比较,取得了良好的分类效果,可为更多类型的图像情感自动分类打好基础,具有一定的实用价值.     

基于两层迁移卷积神经网络的抽象图像情感识别

为弥合抽象图像底层视觉特征与高层情感语义间的鸿沟,同时缓解抽象图像情感识别所固有的小样本缺陷,将两层迁移学习策略引入传统的卷积神经网络,提出一种基于两层迁移卷积神经网络的抽象图像情感识别模型.该模型利用深度特征的层次性,首先通过大规模通用图像数据集来学习提取普适的底层图像特征;然后利用抽象图像风格分类数据集来学习提取抽象图像的专有高层语义特征;最后采用抽象图像情感识别数据集来微调整个网络.MART数据集上的实验结果表明,与传统的抽象图像情感识别方法相比,所提出的模型能够有效地提高识别精度.     

变电站巡检机器人避障方法研究与应用

为提升变电站巡检机器人的导航避障能力,将深度学习技术应用于变电站场景识别中,提出了一种基于深度卷积神经网络的避障方法.该方法联合图像分类和语义分割两个分支来共同辅助机器人导航避障,分类分支通过获取图像全局信息,保证机器人正确行驶方向;而语义分割支路则根据图像局部信息以及机器人前方目标类别,指导机器人准确避障.实验结果表明,避障方法可以高效地对图像进行分类和分割,同时,在实际变电站环境中,该方法也能为巡检机器人提供有效的避障信息,实现实时自主避障.     

基于模糊理论的场景图像情感语义标注方法研究

电子技术和成像技术的发展导致数字图像迅速增长,依靠先进的技术提取图像蕴含的情感语义并对其自动标注正是当前各行业急需解决的问题。为此提出了一种基于模糊理论的场景图像情感语义标注方法,通过计算模糊隶属度描述图像的情感程度,使用Adaboost算法和RBF神经网络实现,解决了图像自动标注中的语义模糊问题。使用百度图片频道上下载的869张场景图像进行训练和测试,实验通过与人工标注结果相比较,取得了良好的标注效果,可为更多类型的图像情感自动标注打好基础,具有一定的实用价值。     

基于"维量"思想的人工情感模型

借鉴心理学中情感的“维量”分析思想 ,论文提出人工情感模型。该模型的处理对象是人们用来表达情感的形容词 ,如“美丽的” .采用语义量化实验和因子分析的方法建立情感空间 ,并分析情感空间的相似性度量方式 ;抽取图像的感性特征建立特征空间 ,采用支持向量机算法将图像从特征空间映射到情感空间 ,在情感空间内实现图像的情感检索 ,取得了较好地实验结果     

基于颜色、形状的情感图像检索

图像所含的内容丰富多彩,是用物理特征无法完整表达的.目前常用的图像检索技术是基于内容的图像检索,检索出的图像在某些程度上无法满足用户的需求.提出了一种基于颜色和形状的情感图像检索方法,讨论了图像的物理特征--颜色和形状的提取与表达.分析不同颜色、特征所激起人的不同情感的反应,建立情感库,用模糊神经网络建立底层物理特征到高层语义特征的联系,实现基于情感语义的图像检索,实现真正的以人为主导的信息检索,提高人机交互的和谐性和检索效率.     

基于MDL的汉语语义选择限制自动获取

语义选择限制是一种重要的词汇语义知识,有助于自然语言的句法语义分析,也有助于解决自然语言处理中的数据稀疏问题.提出了基于语义分类体系和最小描述长度原则的汉语语义选择限制知识自动获取方法,对现有的名词语义分类体系进行改造,实现了一个知识获取的高效算法.基于大规模语料进行知识获取,对获取的优选语义类进行了分析,并进行了伪消歧实验,与基于KL距离的方法进行了对比,体现了所用方法的有效性.     

基于特征融合的图像情感语义识别研究

针对图像情感语义识别中特征提取的问题,提出了一种加权值的图像特征融合算法,并应用于图像情感语义识别。该方法根据不同特征对情感语义的影响不同,在提取出颜色、纹理和形状特征后通过加权融合为新的特征输入量,并用SVM来实现情感语义的识别。实验结果表明,这种算法比单独使用某种图像特征有更高的准确率。     

一种新的基于稀疏编码Hash的跨模多媒体数据检索算法

针对现有跨模Hash检索方法不能有效消除不同模态数据间语义差异的问题,提出一种新的基于稀疏编码Hash的检索方法,解决了图像低层视觉特征和高层语义之间的语义差异,改善了跨模检索的效果.使用稀疏编码进行跨模相似性检索,首先使用稀疏编码获取图像与文本的显著特征和隐含概念,然后将学习到的隐含语义特征映射到共同的抽象空间中,再通过迭代机制找到多模态数据特征表示间的相关性,最后通过高层语义抽象空间的量化得到统一的Hash编码.     

遥感图像云图识别中的特征提取

遥感卫星在获取遥感图像时,往往连同大量的云层一起记录下来.这些云层图像有时不包含有效信息,有时掩盖了有效信息,从而影响了数据的处理效率.为此研究可见光图像中云图特征提取技术,为有效剔除云图提供特征依据.文中定义了多种灰度特征、频率特征和纹理特征,实验结果表明,这些特征可以有效实现云图和地物的分类.     

融合图像识别和VFH+的无人艇局部路径规划方法

针对水面无人艇在复杂海况下的局部避障问题,文中引入深度学习方法来处理视觉信息,提出了结合VFH+算法的水面无人艇的局部路径规划方法.首先利用对称的编码器-解码器结构的图像语义分割模型和Faster RCNN网络模型进行水面边界线检测及水面障碍物识别,构建水面无人艇环境模型;然后采用基于VFH+的局部路径规划方法,通过逐步构建主直方图、二元直方图和掩模直方图压缩环境数据,引入合理的代价函数来获取实现水面无人艇的有效避障方向规划.在MODD图像数据集上的仿真实验以及实船避障实验结果表明,该方法能有效地提取水面图像信息,并得到合理的局部路径规划策略,在10 kn航速下的避障轨迹平滑,可满足水面无人艇的自主避障需求.     

基于深度学习的眼角膜图像自动化分析研究

为使本科生了解生物医学影像处理技术,掌握深度学习方法,结合吉林大学大学生创新创业训练计划,设计了"基于深度学习的眼角膜图像自动化分析研究"实验项目.在研发治疗角膜新生血管(CNV:Corneal Neovascularization)等疾病的药物过程中,人们需要观察并获取小鼠眼角膜血管在药物影响下的生长情况及数据.为此设计了基于深度学习的眼角膜图像自动化分析程序,以合作医院提供的经凝胶处理的小鼠眼角膜图像为项目研究对象,通过Matlab工具以及神经网络等深度学习算法完成对眼角膜特征的提取和分割.采用SegNet语义分割网络和基于SVM(Support Vector Machine)的图像分割两种方法实现小鼠眼角膜图像的自动提取,分析了两种方法下眼角膜提取的精度与可靠性.结果 表明,使用SegNet语义分割网络得到的结果精度较高,其准确率可以达到97.75％.     

基于跨模态语义增强的图像检索方法

网络图像的文本和图像之间有较强的相关性,传统基于内容的图像检索方法往往忽视文本和图像的相关性,而跨模态检索中,文本和图像的底层特征独立获得,并未有效利用两模态之间的语义关联性,基于此,本文提出了一种跨模态语义增强的图像检索方法(CSR),协同约束文本底层特征的线性判别分析项及两模态的典型相关分析项,使得文本语义增强的同时其强语义性通过协同约束迁移到图像特征中,最后通过多类逻辑回归获得文本和图像语义特征,用文本语义特征正则化图像语义特征,进一步提高图像特征的语义判别性。在Wikipedia和Pascal Sentence数据集上进行实验,显示本文方法能有效提高图像检索的平均查准率。     

基于Word2vec和多分类器的影评情感分类方法

针对影评数据的情感分析,提出基于Word2vec和多分类器的情感分类方法.首先在对评论数据进行预处理的基础上,训练Word2vec模型,将词表示为词向量;其次结合随机森林和朴素贝叶斯多项式模型完成影评数据的情感分类;最后在Kaggle竞赛公开的影评数据集上进行实验.结果表明,Word2vec可有效捕捉词的语义,显著提高情感分类算法的性能.     

基于纹理特征的穿梭分析系统动物检测算法

引入图像处理技术对实验动物进行穿梭分析是定量测定动物行为学改变的重要手段.本文针对穿梭实验箱底部的构造特点,提出采用LBP纹理特征构建背景模型的方法来检测实验动物;首先计算实验箱底部图像的LBP纹理特征,并以该特征构建背景模型,进而分析实验动物进入实验箱后的纹理特征图像并利用背景差分法获取前景目标,最后通过对前景图像进行两次投影得到实验动物的中心坐标,从而完成目标检测.实验结果表明该方法充分考虑了实验动物和实验箱在纹理特征上的区别,可以实时可靠地完成实验动物的检测和定位.     

基于多尺度特征提取的图像语义分割

指出了基于深度学习的图像语义分割中,如何充分利用图像上下文信息以达到更好的分割效果,是当前图像语义分割研究的关键问题.为解决这一问题,提出了一种基于多尺度特征提取的图像语义分割方法,通过构建深层卷积神经网络,并利用不同尺度图像作为网络的输入来提取不同尺度图像的特征,最后经过特征融合得到了分割图.在公开数据集Stanford background dataset 8类数据集上进行训练和验证,实验结果达到了84.33%的准确率.实验表明:通过提取和融合多尺度特征,可以达到更好的图像语义分割效果.     

基于因子分析和概率神经网络的情感语义提取

文章首先对当前的情感语义提取技术进行了综合分析,并用颜色及形状特征作为情感特征参数,采用因子分析法建立情感空间模型,再用概率神经网络法实现特征空间到情感空间的映射,最后通过已建立好的情感语义知识库获取视频的情感语义文本描述。     

基于特征融合的中文文本情感分析方法

针对现有的中文文本情感分析方法不能从句法结构、上下文信息和局部语义特征等方面综合考量文本语义信息的问题,提出一种基于特征融合的中文文本情感分析方法.首先,采用Jieba分词工具对评论文本进行分词和词性标注,并采用词向量训练工具GloVe获取融入词性的预训练词向量;然后,将词向量分别作为引入Self-Attention的BiGRU和TextCNN的输入,使用引入Self-Attention的BiGRU从文本的句法结构和文本的上下文信息两个方面综合提取全局特征,使用TextCNN提取文本的局部语义特征;最后,将全局特征和局部语义特征进行融合,并使用Softmax进行文本情感分类.实验结果表明,本文方法可以有效提高文本情感分析的准确率.