基于空时注意力网络的面部表情识别

基于视频序列的面部表情识别问题主要有两个特点:空时性和显著性。近年来,许多研究人员利用卷积神经网络、循环神经网络、三维卷积神经网络等深度学习方法处理该问题的空时特性。但是,面部表情的显著性问题却往往被忽视。随着注意力机制在深度学习网络中的应用发展,其能够有效地解决各类任务中的显著性问题。该文将空时注意力机制应用到面部表情识别中,使得深度网络更多地关注空时特征中的显著性。具体地,该文将空间注意力模块嵌入到卷积网络中,以使空域特征更加关注对表情识别重要的区域,将时间注意力模块嵌入到门控循环单元(gated recurrent units,GRU)后,使得时域特征更加关注信息丰富的视频帧。在RECOLA情感数据库上的实验表明,与一般的深度模型相比,该文的深度空时注意力网络显著提高了面部表情识别的性能。     

联合结构预测和运动补偿的视频自适应压缩感知

视频压缩感知是解决无线多媒体网络中海量数据存储和传输问题的有效方法,但常规基于单帧处理的压缩重构质量较差,限制了应用效果。文中提出了基于BCS的结构预测和运动补偿的提高视频GOP序列重构质量的方法。对视频GOP序列,首先,利用分块压缩感知对关键帧和压缩帧分别进行压缩采样,并给出了一种视频稀疏性定量估算方法,实现了压缩采样率自适应选择;然后,基于迭代阈值投影重构算法,对关键帧和压缩帧分别进行压缩重构。在此基础上,利用视频帧区域块的结构相关性进行帧内结构预测,提高重构质量;最后,利用帧间的时间冗余性,通过运动估计和运动补偿进一步提高重构质量。仿真结果表明,结构预测和运动补偿能提高视频重构的峰值信噪比(PSNR)。该算法考虑了视频序列帧内和帧间相关性进行预测和补偿,提高了GOP序列的重构质量。     

基于通道注意力机制的视频超分辨率方法

基于视频帧间信息特征,提出了基于通道注意力机制的循环残差注意力网络,将连续的低分辨率视频帧、前一时刻输出帧和隐藏态作为输入进行特征提取,在隐藏态中引入残差连接和注意力机制,增强网络特征提取能力,经过亚像素卷积层重建出高分辨率视频帧。然后将本视频超分辨率网络模型在Vid4、UDM10、SPMCS视频数据集进行了测试。实验结果表明,与其他基于深度学习的视频超分辨率方法相比,本方法能利用帧间特征信息较好地恢复高频特征信息,恢复的视频图像PSNR和SSIM值都比其他主流方法要高,同时取得了较好的主观视觉效果。     

基于深度压缩感知的脑电情感识别

【目的】传统压缩感知中存在观测矩阵对信号适应性和重构算法对字典依赖性的问题，深度压缩感知则利用深度学习的方法解决传统压缩感知中存在的问题。【方法】利用深度信念网络(DBN)能够在不破坏观测矩阵随机性的前提下对信号进行自适应压缩，同时利用栈式自编码器(SAE)可以端到端地训练重构网络来摆脱重构算法对稀疏字典的依赖性，根据信号的稀疏表示中所具有的判别性，提出基于DBN和SAE的压缩感知识别模型(CS-DBN-SAE)。【结果】在DEAP情感脑电数据库上的四分类实验结果表明，CS-DBN-SAE模型的识别率达到83.29%,相比于传统压缩感知识别模型均取得了4.3%以上的提升。     

基于多模注意力机制的密集型视频描述

为了解决密集型视频描述(dense video captioning, DVC)任务中视频特征利用不充分，视频定位分段不准确，语义描述效果不丰富的问题，采用多模注意力机制的密集型视频描述方法，提取视频中的视觉特征、音频特征和语音特征.通过多模注意力机制，在编码器中计算不同模态视频帧特征间的关联程度，在解码器中计算描述词序列特征与编码器输出的多模态视频帧特征间的关联程度，并将编码器、解码器输出特征分别作用于视频定位分段模型和语义描述模型获得视频分段和分段描述.提出的方法在ActivityNet Captions数据集上进行了理论分析和实验验证，其中F1-score达到60.09,METEOR指标达到8.78.该方法有效提高了视频定位分段和语义描述的准确性.     

双交叉注意力自编码器改进视频异常检测

针对视频中包含的异常事件数量稀少,信息密集的特征容易被遗漏等问题,本文提出一种双交叉注意力自编码器的视频异常事件检测方法.首先预处理视频集,提取视频帧中表观和运动特征,然后设计双交叉注意力模块融入自编码器中,使特征图在自编码器中能够更好地关联全局特征.其次将提取后的特征放入各自的自编码器中学习正常行为,使含有正常事件的视频帧能被模型重构,含有异常事件的视频帧则无法被重构.最后通过检测模型得到各个视频帧的重构误差从而进行异常事件判定.该方法可以以局部特征关联全局特征的方式有效提高视频异常事件检测的准确率,通过在多个公开数据集中进行实验验证,证明该方法优于其他同类方法.     

多线索非参数化融合的单目视频深度估计

为解决二维视频的三维转化问题,提出了一种基于非参数化学习和多线索融合的单目视频深度图提取方法.首先,利用单目图像的区域边界轮廓和几何透视结构线索,基于前景背景融合来估计单目视频中各帧的深度图像;然后,利用视频帧间空时相关性,借助非参数学习实现单目视频深度估计;最后,利用全局背景深度分段约束和去抖动来增强深度视频序列.实验结果表明,与其他现有方法相比,该方法能得到更为准确的单目视频深度图序列,无论在主观质量还是均方根误差(RMS)和结构相似性度量(SSIM)上,均能取得较好的效果.     

基于对抗样本的深度学习图像压缩感知方法

压缩感知是研究数据采样压缩与重构的信号处理新理论,近年来研究人员将深度学习运用到图像压缩感知算法中,显著提高了图像重构质量.然而,图像信息常与隐私关联,高质量的重构图像在方便人们观赏的同时,带来了隐私保护的问题.本文基于深度学习理论,提出一种对抗的图像压缩感知方法.该方法将压缩理论和对抗样本技术统一于同一个压缩感知算法,通过设计损失函数,联合重构误差和分类误差来训练压缩感知深度神经网络,使得压缩感知重构样本同时也是一个对抗样本.因此,重构图像在保证重构质量的同时,也能对抗图像分类算法,降低其识别率,达到保护图像隐私的效果.在Cifar-10和MNIST图像集上进行的实验结果表明,和已有的压缩感知方法相比,我们提出的对抗压缩感知方法以损失仅10%的图像重构质量为代价,使得图像分类精度下降了74%,获得了很好的对抗性能.     

融合时空切片和双注意力机制的视频摘要方法

为解决现有视频摘要方法的视频帧特征信息提取不充分、摘要结果过分依赖单一特征的问题,提出了一种融合时空切片和双注意力机制的视频摘要方法。在原视频的精准分段阶段,提出了基于时空切片的核时序分割算法(STS-KTS),将视频场景信息反映为时空切片纹理信息,采用水平映射法将预处理后的时空切片投影为一维数组,作为KTS的输入特征;以双注意力机制和分组卷积为基本组件,结合BiLSTM构建时空特征提取网络,以快速提取丰富的时空特征信息,从而配合纹理特征信息消除现有摘要模型对单一特征的过分依赖;采用帧参数预测模块获取最佳的视频帧贡献度分数、中心度分数以及帧序列位置;将帧分数转化为镜头分数,以选取内容丰富的片段,进而生成动态视频摘要。在SumMe和TVSum数据集上的实验表明：所提方法能提高生成摘要的准确性,比现有方法性能更高,尤其在SumMe数据集上的生成摘要准确性相比于现有方法提升了0.58%。     

基于压缩感知的视频信号采集观测值渐进量化算法

在基于压缩感知的视频信号采集中,观测值的量化方法会对重构质量产生重大的影响.为了设计一种性能较优的观测值量化方法,根据视频信号的帧间相关性和压缩感知的视频采集信号观测值特性,提出了基于压缩感知的视频采集信号观测值渐进量化算法.该算法将非关键帧观测值均匀量化后只传输若干不太重要的码平面,在重构端利用邻近的已解码帧通过运动估计生成该非关键帧的边信息帧,再通过观测得到该非关键帧观测值的估计,结合接收到的不太重要码平面信息,通过渐进量化的逆量化得到精确的观测值.实验结果表明:与均匀量化算法相比,文中算法在不增加编码端复杂度和不降低视频序列重构质量的基础上,能大幅降低码率;在相同码率下,不同序列获得的平均增益在0.5~2.0 d B之间,具有较高的率失真性能.     

基于压缩感知的视频编码技术研究

通过分析和比较基于传统视频编码架构和基于分布式视频压缩感知的视频压缩感知编码技术的主要特性,提出一种新的基于帧间模式决策的混合式视频压缩感知编码模型.针对不同的图像内容变化速率、感知帧测量率以及图像组尺寸等情况,分别进行算法的仿真实验.测试结果表明,所提出的混合式视频压缩感知编码技术能够在高保真重建视频序列的同时,兼顾编解码速度.     

多注意力结合光流的视频超分辨方法

针对现如今监控摄像、卫星遥感以及视频娱乐等领域对视频图像的清晰度要求越来越高,而目 前大部分视频超分辨方法存在参数量大、恢复的视频存在抖动等问题,提出了一种多注意力结合光流的视频 超分辨方法,通过引入多个注意力包括空间注意力、通道注意力以及自注意力来提升超分辨性能。 具体而 言,作为一种特征加权的增强方法,这些注意力可以捕获视频帧的时空特征并增强自适应性和通道间的依赖 性,实现全局学习的功能;同时,提出双阶段特征对齐思路,首先利用光流对视频进行估计,进行第一阶段的 特征对齐,然后引入长短是记忆网络结构增强位置和通道的特征融合,进行第二阶段的特征对齐,以防止恢 复的视频帧出现抖动。 实验结果表明:该方法在评估标准和可视化效果方面都取得了令人满意的效果。     

基于深度聚类的通信辐射源个体识别方法

针对非合作通信条件下缺少标签数据的通信辐射源个体识别问题,提出了一种基于深度聚类的通信辐射源个体识别方法。利用自编码器网络强大的特征提取和数据重构能力对原始I/Q数据进行表征学习,提取个体识别的指纹特征,同时将表征学习过程和特征聚类过程进行联合优化,使表征学习和特征聚类契合度更高,更好地完成无标签条件下的通信辐射源个体识别。通过对5种ZigBee设备采集的信号进行实验,结果表明在信噪比高于0 dB时,可以达到85%以上的识别准确率,证明了本文方法的有效性和稳定性。     

基于深度学习稀疏测量的压缩感知图像重构

针对压缩感知理论中测量矩阵硬件实现与重构性能问题,提出一种深度学习方法来获得稀疏的三元测量压缩感知.该方法构建了非常稀疏的三元{0, 1,-1}观测矩阵,在所提出的网络架构上施加稀疏性和二元约束,用更少的观测值满足高概率的图像重构保证,解决了硬件限制和重构性能要求.该文深度学习架构以端到端的方式,提出的网络架构在训练阶段共同学习一对测量矩阵和重建算子,优化线性传感过程和非线性重构过程.实验表明:该文方法在5%非零元素测量矩阵条件下,图像重建质量优于现有方法,说明该文方法具有可行性与有效性.     

一种融合多模态特征的视频暴力检测方法

暴力事件检测是视频内容智能分析的一个常见任务,在互联网视频内容审查、影视作品分析、安防视频监控等领域有重要应用.面向视频中暴力检测任务,提出了一个包含关系网络和注意力机制的方法来融合视频中的多模态特征,该方法首先使用深度学习提取视频中多个模态特征,如音频特征、光流特征、视频帧特征,接着组合不同的模态特征,利用关系网络来建模多模态之间的关系;然后基于深度神经网络设计了多头注意力模块,学习多个不同的注意力权重来聚焦视频的不同方面,以生成区分力强的视频特征.该方法可以融合视频中多个模态,提高了暴力检测准确率.在公开数据集上训练和验证的实验结果表明,提出的多模态特征融合方法,与仅使用单模态数据的方法和现有多模态融合的方法相比,具有明显的优势,检测准确率分别提升了4.89％和1.66％.     

一种新的基于分块的视频压缩感知算法

提出了一种新的基于分块的视频压缩感知算法,可以将视频采集和压缩编码有机结合起来同时进行. 为利用视频时间轴上的冗余,对参考帧和非参考帧使用不同的采样策略:对于参考帧,先进行分块然后进行常规的压缩感知采样;对于非参考帧,将分块后和参考帧对应块作比较然后调整采样策略. 非参考帧的采样可以为参考帧提供更多的信息,使得在采样数目很少的情况下得到更高的视频质量. 同时算法可以根据视频帧内部的纹理复杂程度自适应地调整采样速率,优化资源配置. 实验结果表明,相对于一般的压缩采样算法,本算法使用比以往算法少20%以上的采样值,得到的结果既符合人眼观察又有最高的信噪比.      

基于K-SVD 字典学习的岩心图像压缩感知重构

针对传统方法进行岩心图像压缩感知重构时,在低码率下容易产生细节丢失的问题,提出一种基于 K-SVD( K-Singular Value Decomposition) 超完备字典学习的压缩感知重构算法。首先根据分块压缩感知理论,将 岩心图像分块,采用高斯随机矩阵对相应层级的图像块进行观测,得到对应的观测值块,然后用MMSE ( Minimum Mean Squareerror Estimation) 方法获得初始解的估计并利用提示小波进行滤波,通过全局阈值的思想 得到自适应阈值,最后利用K-SVD 字典结合Landweber 迭代实现压缩与重构。实验结果表明,与传统方法相 比,在相同的采样率下获得的重构图像能较好地保留岩心图像的纹理信息,重构岩心图像的PSNR( Peak Signal to Noise Ratio) 值提高约0． 1 ～ 0． 8 dB。     

基于运动对齐预测模型的分布式视频压缩感知重构

为了提高分布式视频压缩感知（Distributed Video Compressive Sensing,DVCS）的率失真性能,文中提出根据视频非关键帧图像的时间相关性将帧内各块分为静止块与运动块两类,并对它们设定不同的测量率以提高压缩感知（Compressive Sensing,CS）捕获信息的效率.在重构过程中,提出运动对齐多假设预测模型进行重构,该预测模型在测量域内实现运动估计,并根据运动信息在参考帧内寻找到待重构块的若干候选匹配块,利用它们的线性加权和残差重构得到非关键帧图像的重构结果.仿真实验结果表明,文中所提出的DVCS重构算法能有效提升系统的率失真性能,与现有方法相比,在重构时间基本不变的情况下,获得更好的主客观视频重构质量.     

基于加权L1最小化的图像小波域压缩感知重构

压缩感知理论因为能以少量的采样精确地重构原始信号而得到广泛关注.通过在压缩感知的框架下研究小波域图像重构问题,提出了一类小波域的加权l1最小化方法.该方法不仅利用了信号稀疏性的先验信息,而且在重构模型中,通过对不同小波子带上的系数施加不同的权重,从而整合了图像小波域的结构信息,与经典的压缩感知算法相比具有更好的信号可恢复性.仿真实验结果表明,选用该方法能够以更少的采样得到同等精度的重构图像,验证了该方法的有效性.