基于自适应配准参数更新的实时彩色视频图像融合方法

提出一种基于自适应配准参数更新并适用于待配准可见光与红外视频图像的实时彩色融合算法. 首先,自适应地更新每帧图像的配准参数,完成对每帧可见光图像和红外图像的配准;其次,对配准的图像进行线性灰度融合,选取合适的彩色目标图像,在YUV空间完成目标图像颜色信息向融合图像的快速颜色传递,得到彩色融合图像. 实验结果表明,算法效果明显优于伪彩色融合方法,且运算速度完全能够满足对视频进行实时处理的要求.      

基于视频对象的自适应去帧/插帧视频处理

提出一种降低视频传输比特率的视频编(解)码的预(后)处理方法．该方法通过对视频对象做真实运动估值，把估值低于某一阈值的帧删去而不被传输，仅把被删去帧在序列中的序号传输。在解码后，根据所接收的序列号用相应的参考帧来恢复(替代)被删去的帧。对快速运动的图像序列，为了改善视觉效果，可以根据运动估值的大小，自适应地插入若干中间过渡帧。过渡帧用插值算法得到。     

基于视频的全天候多特征融合火焰检测算法

针对传统可视化火灾探测技术采用单独分析可见光摄像设备或红外摄像设备采集的图像进行火灾探测, 不能全天候监控火焰的问题, 提出一种全天候多特征融合的检测算法. 首先通过视频类型判断算法确定摄像头采集的每帧图像类型, 然后利用与图像类型相对应的算法提取疑似火焰区域, 最后对疑似区域进行基于DCT的火焰频率检测和帧间相关性检测, 判断火焰是否存在. 实验表明, 该检测算法解决了传统可视化探测技术不能全天候监控火焰的问题, 且能在保持火焰高检测率的同时降低误检率.     

基于场景切换的H.264码率控制技术

在H.264/AVC编码器中,由于采用了固定长度的图像组(GOP)结构,不能有效地处理视频序列中的场景切换,导致场景切换帧后续各帧编码质量严重下降。为了有效解决该问题,提出了一种自适应的码率控制算法,通过场景切换的快速检测方法检测视频序列中的场景切换,在场景切换帧处终止当前GOP并对GOP层的码率分配算法做出修正。仿真结果表明:采用该算法可以有效地降低场景切换对后续帧编码质量的影响,而且合理地分配码率资源,提高了整个视频序列的编码质量。在相同码率条件下,整体编码质量可以提高0.3-0.5dB。     

基于场景切换的H.264码率控制技术

在H.264/AVC编码器中,由于采用了固定长度的图像组(GOP)结构,不能有效地处理视频序列中的场景切换,导致场景切换帧后续各帧编码质量严重下降。为了有效解决该问题,提出一种自适应的码率控制算法,通过场景切换的快速检测方法检测视频序列中的场景切换,在场景切换帧处终止当前GOP并对GOP层的码率分配算法做出修正。仿真结果表明:采用该算法可以有效地降低场景切换对后续帧编码质量的影响,而且合理地分配码率资源,提高了整个视频序列的编码质量。在相同码率条件下,整体编码质量可以提高0.3~0.5 dB。     

基于运动估值的视频帧处理方案

提出一种视频帧处理方案，通过这种处理可以有效降低视频传输比特率和改善视觉效果。对快速运动的图像序列，为了改善视觉效果，可以根据运动估值的大小，自适应地插入若干中间过渡帧。过渡帧用插值算法得到。     

一种新的视频质量评价中帧对齐算法

在全参考或者部分参考的视频质量评价算法中,由于视频序列在传输过程中总会存在丢帧、跳帧、停滞等现象,因此在视频质量评价之前进行的帧对齐处理是非常重要的步骤.提出了一种新的帧对齐算法,该方法在国际电信联盟(ITU)的ITU-T J.244和J.247的基础上,对源视频和劣化视频序列进行预处理和相关特征参数的提取,并采用类似滑动窗口的原理对二者进行相似度的运算,根据运算结果可判断是否达到帧对齐.结果表明,该方法可以明显甄别出视频序列相应帧的对齐情况,算法简单、实时性较好,具有一定的实用价值.     

一个面向影音视频的宽带通信节带化系统

针对影音视频内容存在冗余信息的现象,提出了一个面向影音视频的移动宽带通信节带化处理系统.对影音视频,通过镜头检测技术找到镜头起始帧,应用特征匹配来分析这些帧重复出现的内容.把重复内容建立模型库存储起来,收发两端同时更新模型库,重复信息再次出现则不需要传输,而通过模型库进行恢复,达到节省传输带宽资源的效果.通过实验分析了影音视频节带化系统处理后的视频质量和节约量,结果表明,在保证视频质量的前提下,这种视频节带化系统可以节约通信带宽资源.     

分布式多视点视频编码容错传输研究

在分布式多视点视频编码(Distributed Multi-view Video Coding, DMVC)数据传输过程中,编码方式不同导致K帧与WZ帧受信道误码影响也不相同,因此本文提出了一种DMVC整体容错传输框架,针对K帧及WZ帧特性设计了不同的容错保护传输方案并进行有效融合。针对于K帧的容错传输问题,首先根据左、右相邻视点的对应K帧,利用DIBR算法产生的空间边信息对丢失块进行初始修复;然后根据K帧同一视点内的相邻已解码帧,生成它的时间参考帧,对K帧的丢失块进行重修复。针对WZ帧的容错传输问题,本文提出了基于不等错误保护(Unequal Error Protection, UEP)的编码算法,根据不同频带的各个比特面的重要性不同,对低频带、高比特面进行更加合理的码率分配,在不增加编码端复杂度的前提下提高了WZ帧的误码容错性能。实验结果表明：在K帧和WZ帧均出现丢包的情况下(丢包率为5%~15%),相比K帧采用传统的帧内错误隐藏加WZ帧采用参考文献码率的算法,本文方案对视频序列重建图像的BD-PSNR平均提升了2.39~4.68 dB,且随着丢包率的增加,提升效果更加显著。     

基于低秩稀疏表示的红外与可见光图像序列融合方法

考虑到红外与可见光图像序列间的高度相关性,本文提出了基于低秩稀疏表示的红外与可见光图像序列融合方法。首先,利用低秩稀疏表示理论分别将红外图像序列与可见光图像序列进行背景与目标分离,获取低秩分量与稀疏分量。其次,利用Laplace金字塔融合方法将每帧红外与可见光图像的低秩分量进行融合。再次,采用最大值选择规则将每帧红外与可见光图像的稀疏分量进行融合。最后,融合低秩分量与融合稀疏分量相加获得最终融合图像。本文算法在Nato-camp与Bristol Eden Project数据集上进行了性能验证。主观视觉分析与客观评价指标表明本文算法比传统的融合算法具有更优越的性能。     

一种改进的全局Retinex监控视频图像增强方法

考虑到监控视频每相邻帧图像背景及光照近似,合理运用帧间信息,构建了一种改进的Retinex图像增强算法。对每一帧图像进行不同尺度及参数的高斯低通滤波,滤波结果取模极小提取各帧背景信息,通过融合多帧图像背景,获取该时刻上视频图像的准确背景,使用该背景进行Retinex算法增强。实验结果表明,算法增强后的图像暗处细节信息更加丰富,获得了更舒适的视觉效果。     

面向无人机视频分析的车辆目标检测方法

提出一种将航拍车辆视频预处理与轻量化目标检测模型结合的级联方式.首先,针对无人机拍摄的车辆视频数据大量冗余的问题,在边缘设备设置一个两级过滤器,通过帧的像素级及结构性差异过滤大量冗余帧,从而大幅减少传输到后端的检测模型的帧数;其次,针对高精度目标检测模型时延高的问题,采用通道剪枝与层剪枝结合的方法压缩YOLOv3模型并部署在PC端,实现时延和精度的均衡.实验结果表明:两级过滤器能够有效过滤90%以上的冗余帧数,相较于原模型,压缩模型在精度仅下降2%左右的情况下,检测速度提高78.3%,达到36.9帧·s^-1.     

视频剪辑查询结合时空金字塔匹配的视频检索方法

针对视频检索系统中目标持续移动从而影响检索精度的问题,提出一种基于视频剪辑查询融合时空金字塔匹配(spatio-temporal pyramid matching,STPM)方法.借助基于特征分析和分类的片段编辑检测器将新的视频分割成多个片段,以元数据信息将视频片段存入数据库,利用基于逐帧特征结合弱分类器的boosting算法检测视频片段边界,针对新的查询视频进行分析和线上视频匹配,并利用时空金字塔匹配计算相关反馈值.在中佛罗里达大学(university of central Florida,UCF)数据集和YouTube运动视频上的实验验证了方法的有效性,实验结果表明,方法的平均精度可高达97.6％,相比其他几种较为新颖的匹配方法,取得了更好的检索性能.     

基于RS理论的镜头分割预处理算法

在分析视频数据特征的基础上,引入粗糙集的属性约简理论,提出一种基于RS理论的镜头分割预处理算法.该算法首先从压缩域提取视频帧的DCT系数,在对DCT系数处理后得到DC系数的信息系统,然后利用RS理论对信息系统进行属性约减,最后得到没有冗余的帧序列.实验结果显示,算法处理后,镜头的帧数目大幅度减少,而后续的镜头分割结果基本不变.实验结果表明,此算法在镜头分割前能消除大量的冗余数据,避免了大量的复杂运算.     

一种改进视觉背景提取（ViBe）算法的车辆检测方法

视觉背景提取(visual background extractor,ViBe)算法应用在车辆检测时存在一个比较明显的缺点,即当视频第1帧中存在待检测的移动车辆时,在后续帧的车辆检测过程中,对应第1帧中车辆的位置处会出现鬼影并且鬼影会持续一段时间才会彻底消失,从而干扰后续帧的检测效果。提出一种改进的ViBe建模方法,新方法在前n帧中实现初始模型的初始化,并结合ViBe算法的更新方法进行模型更新。在不同分辨率、不同场景的视频中对原算法和提出的改进方法进行对比实验,实验结果表明,在第1帧中不包含车辆和包含车辆2种情况下,提出的改进的算法都能有效地检测出移动车辆且不会产生鬼影的问题。因此,改进方法比原算法更有效和实用。     

基于Android系统的H.264视频监控设计

为解决移动终端传输视频图像质量低、传输速度慢的问题,将移动互联网中的Android系统开发技术和H.264视频编码方法相结合,设计并实现了H.264视频监控。采用了将Andro
id系统移植到ARM（Advanced Risc Machines）平台的方法和ARM平台采集视频数据的方法,分析了Android操作系统架构及其启动原理。该H.264视频编码采用基本档次的编码方法,平均峰值信噪比（PSNR：Peak Signal to Noise Ratio)达到38.210 dB,编码帧速率达到136.66 帧/s,与主要档次和高级档次的编码方法相比,具有更高的编码帧速率,实现了实时稳定的视频监控效果。     

一种基于量化索引调制的视频盲水印算法

针对传统视频水印算法鲁棒性较差、计算复杂度较高的问题,结合伪三维DCT（discrete cosine transform）变换,提出了一种新的基于量化索引调制的非压缩域视频盲水印方法。该算法随机选择帧提取亮度分量,进行伪三维DCT变换,并计算交流分量的权值和,利用量化索引调制与人类视觉系统特性将水印嵌入视频,还生成了一个随机密钥,有效提高了视频水印的安全性。提取水印时不需要原始视频序列,减少了算法运行时间。实验结果表明,该算法对视频质量的影响较小,并且能有效抵御旋转、缩放、剪切、加噪、滤波、帧交换、帧删除及帧平均等多种攻击,具有较强的鲁棒性。     

基于视频帧重要区域相似性的镜头切换检测

视频帧的重要信息通常位于图像的中间部位,因此提出了基于视频帧重要区域相似性的视频镜头切换检测算法.在连续视频帧中,相邻帧的前一帧中间区域被分成大小相等的四部分,然后在后一帧中的中间区域寻找与前一帧四模板相似的区域.利用各区域灰度直方图的欧氏距离判定相似区域.如果不相似模板个数大于2,那么该相邻帧处发生了镜头切换.实验表明,此方法对于多数场景的镜头切换检测结果准确、全面.     

体育视频中基于语义推理的事件检测方法

为了对视频内容进行语义级别的事件分析和索引 ,进一步满足用户访问大规模体育视频库的需求 ,提出一种 3层次的视频语义推理方案。在最底层 ,提取视频特征 ,并提出一种视频语义片段自动分割算法 ;在第二层 ,把各语义片段映射到语义概念 ;在最高层 ,建立视频语义事件的有限状态自动机模型 ,进行事件推理和识别。实验结果表明 ,该方案可以有效地进行视频事件识别 ,检测的精度和速度都可以得到很好的保证     

基于自编码器的红外与可见光图像融合算法

基于深度学习的红外与可见光图像融合是图像处理领域的研究热点之一,为丰富融合图像的细节信息、突出红外目标,基于自编码器网络提出一种可进行端到端训练的融合算法。首先,将编码器设计成双分支结构,并针对红外与可见光图像的特性设置不同的特征提取方式;其次,为有效地融合红外与可见光的互补信息,设计了一种可学习的融合策略,并使整个框架能够进行端到端的学习;最后,解码器对通过融合策略所获得的特征进行重构,进而得到融合图像。基于TNO数据集进行实验验证,定性和定量的结果表明,算法能够生成红外目标突出、细节信息丰富的融合图像,相较于其他算法,融合性能更加优越。