融合深度学习和视觉文本的视频描述方法

为解决当前视频描述任务中,生成描述视频的文本整体质量不高的问题,提出一种融合深度网络和视觉文本的视频描述模型.首先在编码阶段,将注意力机制引入3D残差模块,通过一维通道注意力与二维空间注意力增强视频特征映射,降低无关目标与噪声的影响;其次,解码阶段利用双层长短期记忆(long short-term memory,LSTM)深度网络的时序性特征,输出表述视频高层语义的文本描述;最后,为有效利用视觉文本信息丰富视频生成的语义描述,利用基于神经网络的主题模型提取出视频中的主题作为视觉文本融合进模型中.实验结果表明,本文方法在不同性能指标方面具有较好的准确性,能够更加准确地利用自然语言描述视频高层语义信息.     

基于分块三维小波变换的盲视频水印算法

针对数字视频的版权保护，提出了一种基于分块三维小波变换的视频水印算法，将视频信号分成三维图像块，根据人类视觉系统的特性，选择纹理复杂的运动块进行三维小波变换，对水印信息进行扩频CDMA编码后，将其嵌入到三维块的小波系数中，利用正交码的自相关函数特性来检测水印信息，实现水印的盲提取，实验结果表明，该水印方案在保证视频视觉质量的同时，对于针对视频水印的特殊攻击具有高鲁棒性。     

视觉显著性驱动的运动鱼体视频分割算法

针对养殖监控视频中运动鱼体目标检测问题,提出一种基于视觉显著性计算的运动鱼体视频分割算法.首先,将运动特征通道引入基于图论的显著性计算模型中,对多通道特征进行自动加权,生成全局视觉显著图.其次,利用基于方向梯度直方图的支持向量机分类器对显著区域进行目标确认,得到包含前景目标的感兴趣区域.最后,分割出运动鱼体目标,并将其标注在视频序列中.实验结果表明,所提方法在室内养殖监控数据集上能够很好地剔除水面杂波、反光等复杂背景干扰,实现运动鱼体的视频分割.     

结合视觉显著性与眼跳概率模型的视频注视点序列预测

视觉注意力相关研究中,基于图像的视觉显著图预测研究较多,而针对视频的注视点序列预测研究相对较少.在充分考虑视频场景的动态特征与人眼视觉特性基础上,提出了一种同时利用视频底层与高层特征的注视点序列预测模型.使用隐马尔可夫模型(HMM)对注视点的转移序列进行建模,其中注视点的位置作为隐藏状态.首先,采用卷积神经网络(CNN)获得视频的视觉显著图,并将视频帧的显著值作为HMM的观测概率,表征注视点所在区域所能成功引起人视觉注意的程度;然后,使用视觉心理学中基于莱维飞行的眼跳概率模型对HMM状态的转移概率进行建模;最后,通过维特比算法推断整个视频最有可能产生的注视点序列.在HOLLYWOOD2数据集上进行视频的注视点序列预测实验,并和相关算法进行比较.实验结果表明:本文提出的模型的预测结果在Hausdorff距离与平均欧氏距离两项指标上都更优.     

基于通道注意力机制的视频超分辨率方法

基于视频帧间信息特征,提出了基于通道注意力机制的循环残差注意力网络,将连续的低分辨率视频帧、前一时刻输出帧和隐藏态作为输入进行特征提取,在隐藏态中引入残差连接和注意力机制,增强网络特征提取能力,经过亚像素卷积层重建出高分辨率视频帧。然后将本视频超分辨率网络模型在Vid4、UDM10、SPMCS视频数据集进行了测试。实验结果表明,与其他基于深度学习的视频超分辨率方法相比,本方法能利用帧间特征信息较好地恢复高频特征信息,恢复的视频图像PSNR和SSIM值都比其他主流方法要高,同时取得了较好的主观视觉效果。     

应用于高清视频的数字水印改进算法

基于高清数字视频对水印的要求,以及对H.264编码和现有的基于DCT变换视频水印算法的研究,提出一种基于DCT变换AC系数的自适应视频水印算法,自适应选择Ⅰ帧纹理块作为嵌入块;通过计算AC系数方差选择修改系数嵌入水印信息;为了减少水印嵌入量和增加水印鲁棒性,采用Arnold置乱和改进的秘密共享方案对水印进行预处理.该算法充分保证了水印的不可见性,同时具有一定的鲁棒性,具有一定的理论和实际应用价值.     

一种基于小波域边缘特征的数字图像水印

利用图像的小波变换获得的图像边缘特征信息,参考人类视觉系统(HVS)模型和小波图像的能量分布特性,将水印信息按小波图像的局部边缘特性,将水印信息嵌入到图像中,从而有效地隐藏水印。     

一种基于运动矢量的Mpeg 2视频数字水印的改进算法

研究一种改进的基于运动矢量的Mpeg 2视频水印技术.利用Mpeg 2标准的压缩方法及视频流的特点,在分析Jordan提出的基于运动矢量的视频水印算法的基础上,结合人眼视觉特点,根据视频运动矢量的幅值大小和图像纹理均匀程度,选择在帧间编码块中嵌入水印的位置,在运动矢量中嵌入水印.仿真实验结果表明,新算法能更合理地将水印嵌入Mpeg 2视频流中,视频序列平均信噪比较原算法提高12%～21%,并且提取的水印要明显好于原算法.     

面向智能船舶的水面小目标检测算法

针对智能船舶中基于视觉传感器的水面小目标识别具有识别区域分辨率低、图像模糊、信噪比低等问题,提出了一种新的基于卷积神经网络的水面小目标检测算法——自注意力特征融合检测算法.首先,为了提高视觉信息处理的效率与准确性,在网络模型中引入了自注意力模块,更多关注小目标的细节信息.其次,在网络模型中采用了结构化的特征融合算法,通...     

基于稀疏Transformer的长短时序关联动作识别算法

针对主流的视频动作识别算法对时序信息的挖掘不充分,而Transformer能够更好地处理长序列和全局依赖性问题,本文将3DCNN和Transformer结合起来,提出了基于稀疏Transformer的长短时序关联动作识别算法,从而实现对视频的全局时序信息进行建模。该算法提取预训练视频模型各个片段特征,嵌入视频特征聚类模块降低输入特征的潜在噪声,并利用基于稀疏自注意力的Transformer长短时序关联模块,引入稀疏掩码矩阵,对相似度矩阵进行掩码操作,抑制较小的注意力权重,选择性地保留重要的长短时序信息,提高模型对全局上下文信息的注意力集中程度。本文在UCF101和HMDB51数据集上进行了大量的实验,验证了本文算法的有效性,在参数量和计算复杂度较小的情况下准确率高于同类权威算法。