基于光流方向信息熵统计的微表情捕捉

以光流法为依据,提出了一种基于光流方向信息熵(entropy of oriented optical flow,EOF)统计的方法捕捉微表情关键帧.首先,采用改进的Horn--Schunck光流法提取视频流中相邻两帧图像的微表情运动特征;其次,采用阈值分析法筛选出投影速度模值较大的光流向量;之后,采用图像信息熵统计光流变化角度,进而得到视频序列的方向信息熵向量,通过对熵向量的分析,实现微表情关键帧捕捉;最后,本实验采用芬兰奥卢大学的SMIC微表情数据库和中国科学院心理研究所傅小兰的CASME微表情数据库作为实验样本,通过与传统的帧差法比较,证明了本文提出的算法优于帧差法,能够较好地表现出微表情变化趋势,为微表情识别提供基础.     

基于Adaboost关键帧选择的多尺度人体动作识别方法

针对手工制作关键帧检测器和最初“特征包”方法的局限性,提出一种基于Adaboost关键帧选择和多尺度运动特征表示的人体动作识别方法.首先,从视频序列中提取兴趣点,使用生物启发特征结合光流的多尺度方法提取运动特征;然后,利用Adaboost学习方法从一个大的特征池中选取最具辨识度的几帧图像,并将排列前十的Adaboost帧作为相应的关键帧;最后,利用相关图表示关键帧,由支持向量机(support vector machine,SVM)完成人体动作分类.在KTH、多视图IXMAS和TUM数据库上的实验结果显示,该方法在3个数据库上的识别精度可分别高达95.5％,93.7％和91.5％,识别性能明显优于其他几种较新的方法,表明利用Adaboost学习算法可有效选取每个视频动作序列的关键帧,并有效解决了“特征包”方法的局限性问题.     

基于关键帧提取的视频分割方法

从分析视频数据的结构和特点出发, 提出一种新的关键帧提取方法, 在此基础上首次利用线性回归法来检测镜头边缘. 实验证明, 该算法明显提高了视频分割的准确性.     

基于人工免疫有序聚类的视频关键帧提取方法

针对现有的基于无监督聚类的视频关键帧提取方法没有考虑镜头内容的时序性、对初始类的划分较敏感、易陷入局部最优等问题,提出了一种新的基于人工免疫的有序样本聚类算法.在传统人工免疫聚类算法的基础上引入了抗原记忆识别机制及改进了抗体的克隆与超变异机制,并在此基础上给出了基于人工免疫有序聚类的视频关键帧提取方法.该方法将镜头帧序列看成一个入侵机体的抗原序列,然后基于首次应答与再次应答机制依次为每个抗原产生记忆细胞池,最终每个记忆细胞池能识别的邻近抗原对应一个类别并选取距其类中心最近的帧为关键帧.对大量不同类型的视频进行了试验.结果表明,该方法能得到较高的保真度和压缩率,能够十分有效地提取出反映镜头内容变化的关键帧.     

基于动态规划的关键帧提取算法

在传统的关键帧动画中,动画师对关键帧进行编辑并通过插值生成一段连续的动画.运动捕捉数据的每一帧均可看作关键帧,但是对其直接进行编辑非常繁琐,需要从运动中提取具有代表性的关键帧,简化运动的编辑操作.已有的关键帧抽取方法主要基于一些局部误差度量策略,算法的全局误差难以得到保证.提出了一种基于动态规划的运动捕捉数据的关键帧提取算法,该算法通过曲线拟合技术对密集采样的运动捕捉数据进行减帧,在生成指定数目关键帧的同时保证误差达到全局最小.用户可以利用传统的关键帧技术对减帧后的运动进行编辑.     

基于关键帧轮廓特征提取的人体动作识别方法

为了在人体动作识别中获得更加准确的前景分割和防止关键信息的几何丢失,提出一种利用关键帧提取关键姿势特征的人体动作识别方法.由于背景建模和差分获得的前景不准确,利用基于纹理的灰度共生矩阵提取动作轮廓,并对原图像帧进行分割;然后计算人体Blob的能量,选取最大信息内容的帧作为关键帧,关键帧的获取使得特征提取对时间的变化具有一定鲁棒性;在特征分类识别阶段,为了提高分类的准确性,提出使用支持向量机-K最近邻(support vector machine-k nearest neighbor,SVM-KNN)混合分类器完成分类.在Weizmann,KTH,Ballet和TUM 4个公开数据集上实验验证了该方法的有效性.相比于局部特征方法、全局特征方法和关键点方法等,该方法获得了更高的识别率.此外,实验结果表明,该方法在KTH和Weizmann数据集上的早期识别效果优于Ballet数据集.     

视频内容的结构分析研究

基于内容的视频检索是目前一个热点,进行检索前必须要根据视频内容为视频数据建立索引。本文从镜头分割和分类分析了视频内容的语义结构。