超像素梯度流与元胞机融合的视频显著图检测

使用静态空间特征通常无法得到准确的视频显著性目标对象,提出了超像素梯度流场与元胞自动机融合的视频图像显著性检测方法。首先,使用SLIC方法将视频帧分割成超像素,在超像素级上运用光流梯度和颜色梯度生成一个时空梯度函数,由时空梯度得到新的梯度流场值,将视频中运动信息充分利用起来;其次,在视频帧超像素图像上使用卷积神经网络得到其深度特征,通过元胞自动机使这些深度特征依自定义规则更新出粗略显著图,然后将梯度流场显著图与元胞自动机粗略显著图融合得到最终的显著图;最后,在ViSal数据集上、采用5种评估指标、与现有的4种方法进行对比实验,结果表明本文方法在动态视频图像显著性检测中有好的表现。     

基于FDST和MSS的红外与可见光图像融合

为了提高低可见度情况下红外与可见光图像融合质量,提出了一种基于有限离散剪切波变换(FDST)和图像显著性检测算法(MSS)的融合方法。利用显著性检测算法对红外和可见光图像进行检测。采用有限离散剪切波变换对红外和可见光图像进行分解。根据显著性检测结果中亮度越高的区域属于显著性目标这一特点,指导低频子带图像融合。高频子带图像采用"绝对值和取大"的融合策略。实验结果表明提出的融合方法在主观视觉效果和客观性能指标上均取得了较好的效果。     

一种运用显著性检测的行为识别方法

针对传统稠密轨迹行为识别法不能很好地区分行为区域和背景的问题,提出一种运用显著性检测的行为识别方法。考虑到视频显著性在较小的时空范围内变化不大,将视频在时域分割为多个短子视频,并将子视频在空域划分成小块,再以块为基础运用一种两阶段显著性检测方法获取每个子视频的行为区域。在检测的第一阶段,将低秩矩阵恢复算法应用于子视频的运动信息计算其初始显著性,并据此将其内所有块划分为候选前景集合和绝对背景集合;在第二阶段,为了将真正的行为区域从候选前景集合中分离出来,利用绝对背景集合中块的运动信息构建字典,通过加权稀疏表示算法计算候选前景集合中每个块的细化显著性,再通过阈值化获取二值显著图用以指示行为区域;最后,将显著图融入稠密跟踪过程以获取行为区域轨迹用于行为识别。基准数据集上的实验结果表明,该方法能够较好地检测视频中的行为区域,获得的识别率高于传统稠密轨迹法2.5%~4.5%。     

基于全局和局部低秩矩阵分解的图像显著目标检测算法

针对视觉选择性注意机制中,在凸显注意力目标的同时还需抑制背景区域对显著性目标影响的问题,提出一种基于矩阵低秩分解的图像显著目标检测算法.该算法首先结合图像CIE Lab颜色空间对比度特征和图像纹理特征快速获取初始显著图,然后分别从全局和局部两个层次对其低秩分解并加权融合,最终实现对初始显著图中背景非显著信息的抑制得到最终显著图.与其他显著性算法的对比实验结果表明,本文算法在有效检测显著目标的同时,显著图中的背景仅含有少量非显著信息,显著目标更加凸显,为后期计算机视觉任务提供了一种良好的预处理过程,具有一定的理论和实际应用价值.     

融合颜色与运动信息的视频显著性滤波器

根据人眼视觉的特点,提出一种融合颜色及运动信息的视频显著性滤波器.该滤波器分三个步骤检测视频图像的显著性区域:首先利用超像素分割算法将视频图像划分为若干视觉近似一致的紧凑子块;其次以统一的多维高斯滤波形式计算四个测度,分别表征每个子块的颜色独立性、颜色空间分布、运动独立性以及运动空间分布;最后同样通过多维高斯滤波对四个测度进行融合以生成视觉显著性图,进而检测出视频中的显著性区域.实验结果表明:与其他现有的显著性检测方法相比,该滤波器能更准确地检测出视频中的显著性区域.     

基于非下采样剪切波变换与显著信息加权的图像融合算法

为了克服当前较多图像融合方法主要依靠测量图像能量信息来完成不同系数的融合,忽略了图像的显著内容,导致融合图像含有吉布斯效应及间断效应等弊端,设计了非下采样剪切波变换(nonsubsampled Shearlet transform,NSST)耦合显著信息加权的图像融合算法.引入NSST机制,对源图像进行系数分解,获取高、低频系数.借助高斯滤波器来构造出显著度量模型,以计算图像拥有的显著信息.随后,利用信息熵函数来计算出图像拥有的细节丰富度.并以图像拥有的细节丰富度和显著信息为依据,设计低频系数融合的加权因子,以此完成低频像素的融合.最后,利用图像中像素点的三邻点像素值,融合高频系数,获取融合图像.实验结果显示,与当前图像融合技术相比,所提算法融合质量更好,融合结果连续性较强,所对应的平均梯度值较大.     

时空对比度引导的视频显著目标提取模型

针对经典视频显著目标提取模型没有充分利用时域显著性线索,易受背景噪声干扰,提取的显著目标不完整等问题,提出了一种在时空对比度指导下的视频显著目标提取模型.首先,自适应融合RGB颜色空间对比度和运动对比度,确定显著目标的先验信息;然后,利用当前帧的前景提取项和邻近帧位置约束项组成能量函数,指导时空显著性线索融合;最后,通...     

多尺度融合背景与目标先验的显著性目标检测

为了解决当目标不在图像中心或者出现在图像周边时,基于中心先验或者背景先验的显著性检测算法往往会产生错误检测的问题,提出使用目标性作为先验信息得到前景显著图,并且利用乘法运算将其与基于背景先验信息计算的显著图相融合,然后进行空间优化得到单尺度下的显著图,最终显著图为多尺度显著图的加权融合.基于公开数据库的实验结果表明:与目前多种前沿算法相比,本文算法具有更优的检测性能,能够凸显整个显著性目标.     

基于流行排序的显著性检测改进算法研究

图像显著性检测是从单幅图像中检测出最突出的部分,由于现有的显著性检测算法只考虑了单尺度的问题,本文提出一种线性加权图融合的显著性检测算法。该算法首先利用超像素分割算法对图像进行多尺度分割,然后利用线性加权融合算法,得到最终的显著图。在数据集ASD和ECSSD上与当前流行的8种检测算法进行实验比对,结果表明,本文算法能获得更优的F-measure值和精确度,而且可以获得更加均匀准确的显著图。     

结合HSI变换与双通道脉冲发放皮层的彩色多聚焦图像融合

结合非下采样剪切波变换(NSST)和改进的拉普拉斯能量和以及双通道脉冲发放皮层模型(DCSCM),提出一种新的彩色多聚焦图像融合算法.首先对源图像进行HSI彩色空间变换获得色调、饱和度和亮度分量,对源图像亮度分量采用NSST进行分解,获取相对应的高低频分解系数;然后低频分量系数依据改进的拉普拉斯能量和规则进行筛选,高频分量系数采用DCSCM进行融合,经过NSST逆变换获取亮度信息的融合分量;最后利用源图像与亮度分量的欧式距离关系实现色调与饱和度分量进行的分配,通过HSI逆变换获得最终的融合结果.实验结果表明,算法取得了较好的视觉效果并且在互信息、结构相似度、边缘保留度等客观评价指标中具有优势.     

基于边界约束最优投影梯度NMF的TINST域图像融合方法

针对多模态图像的融合问题, 提出一种平移不变不可分离剪切波结合边界约束最优投影梯度非负矩阵分解的图像融合方法, 解决了已有融合方法中融合精度较低的问题. 该方法利用平移不变不可分离剪切波对源图像进行分解; 将低频子带系数视为原始观测数据, 采用边界约束最优投影梯度非负矩阵分解算法得到包含特征基的融合低频子带系数, 将高频方向子带系数作为脉冲耦合神经网络的外部输入激励, 边缘强度作为链接强度, 经点火处理和判决选择运算, 得到融合高频方向子带系数; 最后对融合子带进行平移不变不可分离剪切波逆变换得到融合图像. 为了验证该融合方法的有效性, 对几组不同模态的图像进行对比融合实验. 融合图像的主观与客观评价结果表明, 该融合方法优于目前已有的典型多尺度图像融合方法.     

一种听觉显著图提取模型

本文基于人耳听觉特性提出了一种改进的自下而上听觉显著图提取模型.该模型根据人耳听觉系统对声音分频道处理以及声音信号时间方向的差异更能有效表征听觉显著性这两个特点进行显著图提取.首先对输入声音信号进行短时傅立叶变换(SFFT)得到声音信号的听觉图谱,然后重新划分频带并在各频带上采用一维高斯滤波器组进行不同尺度的时域滤波,再利用中心-周边差算子计算各频带的听觉显著度并进行跨尺度整和,最后将各频带的听觉显著度线性合并之后得到最终的听觉显著图.仿真实验的结果表明该模型提取的听觉显著图更准确.     

一种基于显著性的多尺度图像融合模型

提出一种基于显著性的多尺度图像融合模型. 先利用轮廓波变换将输入图像分解成子图序列, 然后计算每幅子图像的区域显著性, 并选取显著性大的参数作为最终融合参数, 最后通过反变换获得融合图像, 图像的显著性通过谱冗余法获得. 实验结果表明, 该方法较传统方法融合效果更好.     

Detection of salient objects with focused attention based on spatial and temporal coherence

The understanding and analysis of video content are fundamentally important for numerous applications,including video summarization,retrieval,navigation,and editing.An important part of this process is to detect salient (which usually means important and interesting) objects in video segments.Unlike existing approaches,we propose a method that combines the saliency measurement with spatial and temporal coherence.The integration of spatial and temporal coherence is inspired by the focused attention in human vision.In the proposed method,the spatial coherence of low-level visual grouping cues (e.g.appearance and motion) helps per-frame object-background separation,while the temporal coherence of the object properties (e.g.shape and appearance) ensures consistent object localization over time,and thus the method is robust to unexpected environment changes and camera vibrations.Having developed an efficient optimization strategy based on coarse-to-fine multi-scale dynamic programming,we evaluate our method using a challenging dataset that is freely available together with this paper.We show the effectiveness and complementariness of the two types of coherence,and demonstrate that they can significantly improve the performance of salient object detection in videos.     

基于时空显著性检测的3D视频生成方法

为了解决3D视频生成方法在获取深度线索方面的难题,使用显著图代替深度图进行3D视频生成。显著图和深度图在性质上有所不同,但是显著图是通过视觉注意力分析得到的,因此也可以给予人眼良好的感官体验。为了得到更适合进行视频内容转换的显著图,将时间信息融入到了深度学习模型当中。通过实验证明了本文方法在两个广泛使用的视频显著性数据集上拥有很好的表现力,所生成的3D内容也具有良好的视觉效果,证明了基于显著性检测的3D视频生成方法具有一定的可行性。     

基于显著性检测与混沌对称折叠的图像选择性加密算法

当前图像选择性加密技术主要依赖明文的边缘信息实现局部像素的混淆与扩散,易泄露重要目标的形状信息,而且整个加密过程中忽略了初始明文特性,使其安全性不理想,为了解决以上的问题,提出了显著性检测耦合混沌对称折叠的图像选择性加密技术。首先,引入Ripplet变换,对输入明文完成多方向、多尺度分解,形成Ripplet系数,通过逆Ripplet变换,得到明文对应的特征图;通过高斯概率密度与信息熵来计算特征图的全局与局部显著图;再组合全局与局部显著图,根据区域生长法,检测明文的视觉显著性区域;随后,借助明文信息迭代Logistic映射,获取一组混沌数组,以定义索引扰乱机制,改变显著区域内的像素位置;最后,联合Logistic映射与对称连续折叠机制,设计了混沌折叠扩散方法,从多个方向利用不同的扩散函数对置乱后的显著性区域完成加密。实验结果显示:与已有的选择性加密方案相比,本文方法呈现出更好的安全性与密钥敏感性。     

云计算环境下大数据视频图像的尺度空间融合算法研究

针对传统算法融合图像质量差、清晰度低、损失图像包含信息的弊端,提出一种新的云计算环境下大数据视频图像的尺度空间融合算法,介绍了尺度空间理论。通过具有平移不变性特征的提升静态小波变换算法对云计算环境下大数据视频图像进行尺度空间融合,对待融合图像进行提升小波变换分解处理,获取不同尺度空间下的低频子带系数与高频子带系数。针对低频子带系数与高频子带系数给出各自的融合方案,获取融合图像的提升静态小波变换系数。通过提升静态小波逆变换获取最终的融合图像。从主观和客观两个方面对所提算法的融合效果进行测试。结果表明,所提算法主观融合效果好,通过客观评价指标对融合图像进行评价,发现所提算法得到的融合图像清晰度、质量佳,不会损失图像包含信息。     

基于超像素融合算法的显著区域检测

针对目前流行的显著性检测算法不能精确反映显著性信息的问题,提出一种基于超像素融合方法的显著性检测算法. 首先对图像进行超像素分割,在保证高质量的图像目标边缘信息前提下,建立以超像素为节点的图模型;然后计算超像素邻接矩阵,将该图模型转化为最小生成树模型. 通过OTSU算法自适应地确定最佳阈值,根据该阈值将最小生成树模型的部分节点进行融合,获得大超像素分割区域;最后利用大超像素的颜色和相互距离信息,获得高质量的显著性图. 实验结果表明,相对于其他检测方法,该算法可以更有效地检测出图像中的显著目标,并能达到接近分割的效果.      

注意力叠加与时序特征融合的目标检测方法

提出一种基于注意力叠加与时序特征融合的目标检测方法.在端到端目标检测(DETR)网络的基础上,依据注意力机制特性,使用注意力权重叠加的方式提取目标物像素级标识,用于实例轨迹的划分.为使目标检测与轨迹跟踪协同作用,通过时序特征融合的方式融合之前轨迹跟踪信息,调整当前帧目标检测效果,从而充分利用视频载体提供的时间维度信息.在公开数据集上,对文中方法进行验证,结果表明：文中方法能有效识别被遮挡的目标物,具有较强鲁棒性.