基于自适应帧采样算法和BLSTM的视频转文字研究

针对视频转文字(video to text)存在的建模复杂和准确率低的问题,提出了基于自适应帧采样算法和双向长短时记忆模型的视频转文字方法.自适应帧采样算法能够动态地调整采样率,以提供尽量多的特征来训练模型;结合双向长短时记忆模型,能有效学习视频中前面帧和未来帧的相关信息;同时,用于训练的特征是来自深度卷积神经网络的特征,使得这种双深度的网络结构能够学习视频帧在时空上的关联表示及全局依赖信息;帧信息的融合又增加了特征的种类,从而提升了实验效果.结果显示,在M-VAD和MPIIMD两个数据集中,文中的方法在METEOR中的评分均值分别为7.8%和8.6%,相对原S2VT模型分别提高了16.4%和21.1%,也提升了视频转文字的语言效果.     

基于视频对象的自适应去帧/插帧视频处理

提出一种降低视频传输比特率的视频编(解)码的预(后)处理方法．该方法通过对视频对象做真实运动估值，把估值低于某一阈值的帧删去而不被传输，仅把被删去帧在序列中的序号传输。在解码后，根据所接收的序列号用相应的参考帧来恢复(替代)被删去的帧。对快速运动的图像序列，为了改善视觉效果，可以根据运动估值的大小，自适应地插入若干中间过渡帧。过渡帧用插值算法得到。     

基于主动丢帧的实时视频自适应传输

网络传输过程中的丢包现象会对接收端的视频回放质量产生严重的不利影响.为了尽量消除丢包对视频回放质量的影响,提出一种主动丢帧策略,即在视频数据发送之前根据当时的网络状态,选择性的丢弃部分不太重要的帧.仿真结果表明,这一策略显著改善了视频的回放质量,并有效地降低了网络发生拥塞的可能性.     

基于IEEE 802.11n自适应帧聚合机制的视频传输技术研究

首先介绍IEEE802.11n帧聚合机制的原理,随后分析帧聚合机制对视频传输性能的影响.仿真结果表明,采用帧聚合机制可以有效提高系统吞吐量,增加视频用户接入的数量.同时,提出一种自适应帧聚合机制,可根据信道状况通过动态改变聚合帧中子帧帧长以及重传次数来改善视频传输的性能,并通过仿真实验验证了其有效性.     

基于FPGA的时钟采样帧发生器设计

在串行通信中,为使系统具有灵活的可编程性和可移植性,减小系统体积,降低开发成本,详细地描述了一种时钟采样帧发生器总体结构。结合FPGA特性和VHDL语言,对时钟采样帧发生器各组成模块进行了接口定义,同时在ModelS im SE中进行了功能仿真验证。圆满完成了基于FPGA的时钟采样帧发生器IP核设计。通过实践表明,设计的时钟采样帧发生器IP核可靠易用,可扩展功能强,满足了实际应用系统的技术要求。     

基于帧间运动的视频分割

视频分割是视频结构化和检索的重要技术 ,目前主要通过镜头分割得到。但许多应用需要对镜头根据摄像机运动作分割 ,现有技术不能满足应用实时需要。提出了一种对P帧运动向量稳健分析计算帧间运动并进行分割的方法。与传统光流法、M估计法比较 ,该算法只在压缩域上进行 ,不需迭代 ,具较强实时性。文中阐述了方法的基本思想、理论依据与实现 ,实验表明 :该方法具有很好的效果     

基于FPGA的视频拼接技术研究

为满足汽车实时性的要求, 提出了一种基于 FPGA(Field Programmable Gate Array)的车载视频拼接方法。采用 FPGA 实现视频拼接。 整个系统主要由视频采集、 视频预处理、 视频拼接和视频显示组成。 采用 Altera 公司的 Cyclone 郁芯片搭建硬件处理平台, 利用双 DDR2 存储器进行乒乓缓存。 图像拼接采用 sift 算法进行图像匹配, 通过线性融合算法完成环景拼接, 提高了算法的处理速度, 满足了实时性需求。 经验证该平台拥有较好的实用性和扩展性, 满足汽车的实时性需求。     

基于运动估值的视频帧处理方案

提出一种视频帧处理方案，通过这种处理可以有效降低视频传输比特率和改善视觉效果。对快速运动的图像序列，为了改善视觉效果，可以根据运动估值的大小，自适应地插入若干中间过渡帧。过渡帧用插值算法得到。     

基于特征的航空视频序列拼接方法

针对航空侦察视频序列,提出了一种基于特征点的视频序列拼接方法,论述了该方法的流程和模块。该方法矫正了航空视频序列中普遍存在的径向扭曲;改进了SIFT特征提取和匹配策略,缩短了算法的时间;提出了改进的RANSAC算法用于剔除匹配外点,提高了视频帧图像之间的变换精度;提出双频带融合技术消除边缘跳变和模糊叠影现象,改善了视频帧融合的视觉效果。实验结果表明,该方法能够有效地实现航空视频序列的近实时拼接,同时保持对噪声、光照和目标运动鲁棒。     

基于云台标定的快速视频拼接算法

针对视频监控成本高、性能提升受到限制的问题,提出了基于云台标定的快速视频拼接算法:首先利用相位相关法对云台进行标定,利用标定公式能快速计算出任意两个视频帧之间的粗估平移量,然后,在粗估的重叠区域(ROR)用加速鲁棒特性(SURF,Speeded-Up Robust Features)特征匹配算法进行拼接.从实验结果看,该方法不仅大大提高了视频拼接的效率,而且提高了精准度.     

基于动态帧的视频关键帧提取算法研究

针对基于内容的视频检索系统,提出了一种关键帧提取算法.为了提高算法的保真度和压缩比,首先构造了动态帧,它的每个像素对应一个像素代表灰度集合,该集合中的元素可以最大限度地代表镜头中相应像素的灰度值,然后根据镜头中每一帧与该镜头动态帧之间的距离来确定关键帧.为了验证本算法的有效性,选取了大量视频与TMOF算法及SKF算法进行比较.结果表明:该算法具有较高的准确性和可靠性,保真度和压缩比均高于其他两种算法.     

基于FPGA的视频拼接系统的硬件设计

针对大屏幕视频拼接在物联网、智能交通网等领域中需求越来越大的问题,设计了一套基于FPGA的视频拼接系统．该系统选用Xillinx公司的Spartan．6作为处理器,配备以Micron公司高速DDR2SDRAM存储芯片,支持高清VGA和DVI接口,提供2个视频输入通道和4个视频拼接输出通道,详细分析了系统组成及功能,并给出系统硬件设计及实现方法．     

基于梯度的帧内自适应深度决策算法

提出了一种基于梯度的帧内候选模式裁剪算法,通过自适应深度划分并利用空间信息来简化帧内预测过程,大大减少了计算复杂度.实验结果显示,所提出的算法对比HM16.7,可以减少35.25%的计算复杂度,且只有极小的编码效率损失.     

基于分块帧差的视频图像运动检测

在常用的图像运动检测方法基础上提出了一种改进的运动目标检测算法,即将连续2帧差图像和背景差图像直接相乘,再将相乘的结果进行二值化处理得到运动检测结果,从而将运动目标从背景图像中分离出来,最终得到视频序列图像中运动存在与否的一个二值运动模板,提高了运动检测的效果。     

基于小区域融合的实时视频拼接技术

针对视频拼接实时性的需求, 提出一种利用小区域融合和查表映射实现实时视频拼接的方法. 该方法首先利用颜色校正算法对待拼接摄像头视频进行颜色校正; 然后在初始化阶段估算出图像变换参数和小区域融合权值, 并以索引表的方式保存; 最后在视频拼接阶段利用查表法对视频进行实时拼接. 实验结果表明, 该方法在较好消除残影和拼接缝隙的同时, 能将每帧的平均拼接时间降低至约0.03 s, 并在拼接速度和拼接效果上都较好.     

基于自适应采样的不平衡分类方法

针对传统重采样方法大多使用固定采样策略,无法根据模型的优化需求改变采样策略的问题,提出一种基于自适应采样的不平衡分类方法(ASIC)。该方法根据分类模型在验证集上的表现动态调整训练集上不同类别样本的采样概率,使不同类别的采样概率由当前分类模型的需求动态决定;同时,该方法对少数类给予额外的关注,在其余条件相同的情况下为少数类赋予更大的采样概率,以弥补少数类本身样本数量不足对分类模型造成的不良影响,从而提高分类模型对少数类的识别能力。实验结果表明,使用ASIC方法训练的分类模型的平均类准确率和召回率的几何平均值均比对比方法更好,且数据分布越不平衡,ASIC方法的优势越明显。     

基于分块Harris特征的航拍视频拼接方法

针对现有航拍视频拼接算法处理速度慢、准确性不高等问题, 提出一种基于分块Harris特征的航拍视频拼接方法, 改进了传统基于SIFT特征提取算法的不足, 缩短了匹配时间, 提高了匹配准确性。首先采用分块Harris角点提取的方法均匀提取图像中的角点, 然后采用金字塔光流算法进行角点匹配, 最后通过改进的RANSAC方法求出仿射变换参数。实验表明, 该方法能够实时对航拍视频进行拼接, 具有更高的准确性。     

基于SIFT的自适应旋转图像无缝拼接算法

针对旋转图像拼接融合过程中产生缝合线的问题,提出了基于尺度不变特征转换(SIFT)的自适应旋转图像无缝拼接算法。该方法在SIFT特征匹配的基础上,使用了最小距离加权算法融合图像。为减少算法计算加权因子的耗时,提出了加速融合策略,最终快速完成了无缝拼接。实验结果表明,该算法的融合效果好,速度快,稳定性好。     

基于视频帧重要区域相似性的镜头切换检测

视频帧的重要信息通常位于图像的中间部位,因此提出了基于视频帧重要区域相似性的视频镜头切换检测算法.在连续视频帧中,相邻帧的前一帧中间区域被分成大小相等的四部分,然后在后一帧中的中间区域寻找与前一帧四模板相似的区域.利用各区域灰度直方图的欧氏距离判定相似区域.如果不相似模板个数大于2,那么该相邻帧处发生了镜头切换.实验表明,此方法对于多数场景的镜头切换检测结果准确、全面.     

基于TCS-LBP算子的视频帧复制篡改检测算法

针对监控视频帧复制篡改,提出一种基于时空域特征的篡改检测算法.受空域局部二值模式(LBP)算子设计的启发,设计一种时域TCS-LBP算子,反映当前视频帧与其前后若干帧在同一空间位置像素之间的关系;然后在当前图像上逐点计算TCS-LBP特征值,构造能同时反映当前视频帧时域和空域特征的特征图像;利用特征图像,逐帧检测是否存在帧复制;对于初步检测到的篡改区域,再进行虚警和漏检的修正以及篡改边界的精确定位.实验结果表明,文中算法具有良好的性能,与现有的2种同类算法相比,性能明显提升.