在线评论的静态多模态情感分析

提出了一种基于Pre-LN Transformer的静态多模态情感分类模型.该模型首先利用Pre-LN Transformer结构中的编码器提取评论文本中的语义特征,其中编码器的多头自注意力机制允许模型在不同的子空间内学到相关情感信息.然后根据ResNet提取评论的图像特征,在特征水平融合的基础上通过视觉方面注意力机制...     

基于视觉关注模型与多尺度MSER的自然场景文本检测

自然场景中文本检测易受光照、复杂背景、多语言文字、字体及尺寸等因素影响，该文提出了一种基于Itti视觉关注模型与多尺度最大稳定极值区域（maximally stable extremalregion,MSER）结合的自然场景文本检测算法.首先利用改进的Itti视觉关注模型提取文本特征图，并采用不同结合策略得到各尺度文本显著图；然后结合多尺度的MSER区域得到3种文本候选区域.根据文字与生成文本框的几何规则合并文本候选区域得到文本行；最后利用随机森林分类器除去非文本区域得到最终文本区域.实验结果表明，该方法对于自然场景图像中的文本检测具有较高的精确度和一定的鲁棒性.     

结合对比特性与局部清晰特性的图像显著区域检测

为了有效地确定图像中的重要区域,文中根据人眼视觉关注中自上而下和自下而上的两种特点,提出了一种结合图像对比特性与清晰区域的显著检测方法. 图像中颜色的全局和局部对比引起低级视觉关注,而图像的清晰部分通常对应于拍摄时所关注的对象,反映高级视觉特性. 采用颜色分类和检测图像细节区域的方法分别提取了两类显著图,并将它们组合起来. 实验结果表明,通过综合考虑两种视觉特性得到的显著图,对多类图像都能较好地检测出与人眼视觉关注相吻合的区域.     

视觉机制模拟中的局部参数自组织映射方法

为模拟视觉系统对彩色场景进行初步处理的机制,提出一种局部参数自组织映射方法. 以局部颜色均值、局部颜色对比度以及位置作为特征,用自组织映射进行分类,实现图像分割、边缘检测和轮廓分离等功能. 对仿真及自然彩色图像的实验结果表明,该方法能并行实现上述功能,将具有不同类型特征的部分映射到输出空间的不同位置,符合视觉系统的特征映射和并行处理的特性. 该方法为研究和模拟视觉系统的机制提供了参考,也可用于图像处理中的多任务并行处理.     

联合图像分类的图像融合算法研究

针对人眼对于外界信息的摄取会进行过滤,对于一幅既定的场景,会将其分为目标和背景两部分,对于目标信息的获取会希望更加详细,背景信息没有过多要求的特点,本文研究了联合图像分类的图像融合算法。对给定的待融合图像进行NSCT(Non-subsampled contourlet transform)变换,在NSCT变换域内提取特征,利用K-Means方法将图像分为目标和背景两部分,然后对背景和目标的低频信息采用均值准则、目标的高频信息采用区域能量加权平均的准则进行融合;同时为了降低计算复杂度,将压缩感知应用于图像分类过程中,实验结果验证了本文算法的优越性。     

一种多模特征融合的方面信息情感分类方法

在方面信息情感分类中针对使用循环神经网络编码长距离文本的信息丢失问题,以及使用注意力机制提取情感信息时倾向于关注高频信息偏置问题,提出一种多模特征融合的方面信息情感分类方法,区分单点、多点以及局部三类不同表达模式的情感信息,通过对三类情感信息有侧重的关注、提取与融合,实现各类特征间相互确认与纠错,降低信息丢失与关注偏置问题,达到增强复杂情感表达模式下的方面信息情感分类能力的目的。实验结果表明,使用所提出的方法对三类情感信息进行提取与融合,可以使方面信息情感分类任务在准确率和F1值指标上得到进一步提升。     

电子地图界面及视觉层次设计

电子地图是在电子介质上使用的地图,是一种模拟地图产品,是通过符号系统表示的图像。电子地图界面、图像结构、主次关系及其图面视觉层次设计的优劣,将直接影响电子地图信息的传输效率,从而影响其使用价值。文章介绍了重视电子地图界面及视觉层次设计的意义,阐述了提高视觉感受水平的电子地图界面构图设计要点,探讨了建立高效信息传输的图像视觉层次设计原理和方法。     

基于对立色与显著区域的紧凑图像哈希算法

为了有效利用图像的颜色与局部信息提高算法识别能力,提出了一种基于颜色信息与显著区域的紧凑图像哈希算法.首先对输入图像进行预处理,然后提取图像的颜色对立色与亮度分量,并从颜色对立色中获取颜色特征,进而对亮度分量按照视觉注意力权重矩阵提取图像显著区域的稳健特征,最后将所有特征联合起来并扰乱得到最终的哈希序列.实验结果表明,所提算法与已有的哈希算法对比具有更好的图像分类性能、较短的哈希长度和较少的运算时间.同时,在篡改检测上具有较好的识别能力.     

基于强化局部特征的3D点云分类与分割网络

在点云的处理过程中,许多深度学习网络未能充分考虑局部点之间的复杂关系,导致大量空间几何信息丢失.针对该问题,提出了一个强化局部特征的网络,用于点云的目标分类和语义分割.该网络通过设计编码单元对点的多方向信息进行编码;通过注意力机制学习采样分组后形成局部点云的特征.同时提出了一种新的多维损失函数,结合使用交叉熵损失函数与...     

一种用于手势识别的局部均值模式纹理描述子

提出了一种改进的局部二值模式即局部均值模式用于对静态手势进行分类. 计算不同分辨率的原始手势图像、非线性光照变化图像、高斯模糊图像和椒盐噪音图像的局部均值模式、局部二值模式和局部角相模式. 利用gentle_Adaboost 分类算法对这些算子特征进行训练和测试,实现手势分类. 文中提出的局部均值模式能充分利用区域内像素灰度值之间相关性和区别性信息进行编码,恰当地描述不同手势的特征,具有简单快速及良好的区分度等特点. 实验结果表明：与局部二值模式和局部角相模式相比,局部均值模式算子取得了更高的分类准确度.对于原始图像,该描述子的分类准确度达到95%,同时该模式对非线性光照变化和高斯模糊具有较强鲁棒性.     

注意力引导的三维卷积网络用于遥感场景变化检测

场景级变化检测策略可以容忍高分遥感影像的大量噪声,进而从语义层级更准确地描述遥感图像在前后时相的变化,为高分辨率影像变化检测提供了可能.本文提出了一种注意力引导的三维卷积神经网络用于高分遥感影像场景变化检测的方法.首先构建一个在AlexNet基础上进行简化的三维卷积网络,然后加入一个语义注意力模块来进一步提取地表覆盖变...     

灰度和纹理特征组合的SAR影像SVM分类

针对利用单一特征进行分类的效果不理想、普适性不强等问题,提出了一种灰度和不同纹理特征组合的支持向量机(support vector machine, SVM) 分类方法,将由不同特征组合的SVM分类器用于SAR影像分类,并对几种不同的分类结果进行定性和定量比较分析. 实验结果表明,灰度和不同纹理特征组合的SVM分类方法能够取得较高的分类精度,其结果要优于传统的单一纹理特征分类,是一种有效的SAR影像分类方法.     

改进的CRNN模型在警情文本分类中的研究与应用

针对某市公安110接处警文本描述进行案件分类的需求,参考现有文本分类方法在其他行业的应用,搭建了应用于警情描述的文本分类系统.通过论证常见分类网络适用场合及其优缺点,结合对警情数据中案件描述特征的分析,提出了基于改进卷积循环神经网络的模型,该模型优化了关键特征提取过程,弥补了现有模型短文本局部特征提取不足的缺陷.实验表明,该模型的准确率比常见分类模型提升了2%~3%,且能够有效保证数据局部特征的关联性,可以对案件描述所对应的案件类型进行准确分类,从而提高公安接处警平台的自动化效率.     

融合音频、文本、表情动作的多模态情感识别

针对机器识别人类情感过程中的精度不高、泛化能力不强等问题,提出了一种基于语音、文本和表情动作的3种模态情感识别融合方法。在语音模态中,设计深度波场延拓和改进波动物理模型,模拟长短期记忆（long short-term memory, LSTM）网络的序列信息挖掘过程;在文本模态中,利用含有多头注意力机制的Transformer模型捕捉语义上潜在的情感表达;在表情动作模态中,将提取面部表情和手部动作的序列特征与双向三层含有注意力机制的LSTM模型相结合。最终提出一种多性能指标下的模态融合方案,以实现高精度的、强泛化能力的情感识别。在通用的交互式情感二元运动捕捉语料库IEMOCAP中,将所提出的方法与现有的情感识别算法进行对比,实验结果表明：所提出的算法在单个模态和多个模态中的识别精度均较高,平均精度改善达到16.4%和10.5%,有效提升了人机交互中情感识别的能力。     

基于图像内容和特征融合的隐写盲检测

随着特征选择和分类技术研究的不断深入,盲检测的精度越来越高,但现有方法大多不考虑图像自身的内容特性对检测的影响. 该文提出一种基于图像内容和特征融合的盲检测方法,根据图像复杂度将待检测图像划分为不同的子图像库,以巴氏距离度量各局部特征的分类能力并确定权值,在特征融合基础上对各子库提取不同特征,用支持向量机进行分类. 在混合图像库上进行的实验表明,该方法具有更好的检测性能,并降低了运算复杂度.