基于分组鲁棒主成分分析的老电影修复

以老电影视频为研究对象,针对序列中存在的多种损伤类别,提出一种基于分组鲁棒主成分分析(robust principal component analysis,RPCA)的统一修复方法.采用镜头分割和去闪烁实现对视频序列的预处理.在多分辨率金字塔框架下,采用时空域分组的方式在最粗糙层构造观测矩阵,依次执行基于交替线性法的RPCA变换后,根据帧间误差信息得到大面积破损位置;利用上采样方式构造初步修复结果序列、破损掩模序列以及最近邻偏移矩阵集合,继而对原始序列进行修改,重复时空域分组RPCA变换,实现对老电影视频序列的修复.实验结果证明,该方法能够同时修复画面中的不同损伤,并取得良好的效果.     

BSCB与块平移法小波域融合的数字视频修复

提出了一种BSCB(Bertalmio-Sapiro-Caselles-Bellester)与块平移法小波域融合的数字视频修复算法.首先利用BSCB修复当前视频帧的破损部分,之后利用块平移法将后一视频帧中对应位置的完整部分平移到当前帧破损部分.以上两种方法得到两种修复结果,然后在小波域对其按照一定规则融合.通过合理地选择母小波,将待融合视频帧分解为结构部分和细节部分;之后对各分解层分别进行融合处理,低频部分通过加权平均进行处理,高频部分则采用绝对值取大进行处理,最后对融合后的小波视频帧进行小波逆变换,所得重构结果即为融合后的视频帧.实验验证了视频修复算法的有效性.     

改进多重字典联合自适应学习的稀疏壁画修复

针对壁画稀疏表示修复算法字典单一、细节修复欠佳的问题，提出了一种改进多重字典联合自适应学习的稀疏壁画修复算法.首先，采用非下采样剪切波NSST将破损壁画进行分解，获取壁画的低频纹理子带图像和高频结构子带图像，解决了稀疏表示算法对壁画图像结构和纹理信息考虑不足的问题.然后，提出了多重字典自适应学习的稀疏方法，将低频纹理图像根据像素之间特征的相似性进行聚类，构建多重稀疏子类字典，并利用奇异值分解和分裂Bregman迭代优化完成低频分量修复.接着，引入脉冲耦合神经网络机制，修复壁画图像的高频结构子带.最后，通过NSST逆变换融合完成修复.采用真实壁画进行修复的实验表明，该算法能够有效保护壁画图像结构和纹理层等重要信息，所提算法相较对比算法取得了更好的视觉效果和客观评价.     

图像分块匹配下视频全景拼接方法

针对当前高分辨率视频序列图像拼接生成全景图像时效率低下,提出图像分块匹配下视频全景图像拼接方法.首先对待匹配视频帧图像对分别进行格网划分,对划分后各子图像之间建立对应关系;然后,对各子图像对采用SIFT算法分别进行关键点检测,并利用自适应非极大值抑制法对所检测的关键点进行过滤,保留少量强度值较大的关键点作为待匹配点;在匹配搜索过程中,将匹配搜索范围严格控制在各关联子图像之间,并在此基础上进行全景图像配准与拼接;最后,为避免手持摄像机在拍摄时引起的抖动和偏移,通过构建全局旋转矩阵修正波浪状全景图像,使输出的全景图像更符合对现实世界的表达.实验结果表明提出的全景图像拼接方法速度快,适用于普通视频设备环绕拍摄的视频序列生成全景影像.     

高帧频数字图像序列实时压缩算法

针对高帧频数字图像序列的特点,提出了一种自适应近无损压缩算法,将连续的n帧分为一节,每节的第一帧进行基于帧内感兴趣区域(region of interest,ROI)的压缩,其他帧在帧间差分和阈值处理后进行游程编码.在第一帧内,利用形态Harr小波提升和连通性分析检测出高频子带中的感兴趣区域.对感兴趣区域采用Rice无损熵编码,背景区域不编码.低频子带直接输出.实验结果表明,该算法在帧内能有效地划分感兴趣区域,压缩率在30以上,峰值信噪比在42 dB以上,目标无失真;帧间压缩的压缩率在7左右,背景区域有误差累积,但整体图像的峰值信噪比都在40 dB以上,目标无失真.该算法的计算复杂度较低,易于硬件实现,而且还具有自适应性和数据包独立的优点,适合于高帧频数字图像序列的实时压缩应用.     

基于视频对象的自适应去帧/插帧视频处理

提出一种降低视频传输比特率的视频编(解)码的预(后)处理方法．该方法通过对视频对象做真实运动估值，把估值低于某一阈值的帧删去而不被传输，仅把被删去帧在序列中的序号传输。在解码后，根据所接收的序列号用相应的参考帧来恢复(替代)被删去的帧。对快速运动的图像序列，为了改善视觉效果，可以根据运动估值的大小，自适应地插入若干中间过渡帧。过渡帧用插值算法得到。     

基于三维泊松方程的数字视频修复

提出了一种基于三维泊松方程的数字视频修复算法.首先提取视频帧的梯度场,然后使用基于块的修复方法对梯度进行信息填充,最后在梯度场中建立视频受损区域的三维泊松方程并求解,实现对视频像素的修复.实验结果表明,基于三维泊松方程的视频修复方法具有良好的时空连续性,能保证视频画面色调、明暗的一致性,使修复痕迹更平滑,画面更自然.     

基于图像拼接的可信图像修补方法

为了尽可能地恢复被损坏图像的原始场景,获得最真实的复原效果,针对大区域破损图像的修复,提出了一个基于移位参考图像的可信图像修补与基于图像本身的自修复算法相结合的图像修复方法。首先,受启于图像拼接技术,若存在可以利用的参考图像,便利用SIFT(scale invariant feature transform)算法和RANSAC(random sample consensus)算法将参考图像与目标图像进行配准并投影拼接至目标图像,完成目标图像的可信修补。然后对仍未修复的破损区域进行图像自修复,其中自修复部分采用Criminisi算法。所得到的图像修复结果真实性与可信度较高,与实际景象偏差较小,说明该方法合理可行。     

基于生成对抗网络的人脸图像修复

为了有效修复大面积破损的面部图像,通过生成对抗网络,使用解码器-编码器结构的卷积神经网络作为生成模型,增强生成模型的结构信息预测能力,同时引入对抗训练策略优化生成模型。该模型首先训练一个判别模型识别真实图像,再将判别待修复图像输入生成模型后所得到的结果是否真实,从此为生成模型提供优化梯度。结合卷积神经网络的结构信息预测能力和DCGAN对抗策略的优化能力,提高图像补全效果。通过在CeleBA人脸数据集上进行的实验结果表明:该方法在补全大面积破损的图像任务上性能明显优于其他方法。     

一种新的视频质量评价中帧对齐算法

在全参考或者部分参考的视频质量评价算法中,由于视频序列在传输过程中总会存在丢帧、跳帧、停滞等现象,因此在视频质量评价之前进行的帧对齐处理是非常重要的步骤.提出了一种新的帧对齐算法,该方法在国际电信联盟(ITU)的ITU-T J.244和J.247的基础上,对源视频和劣化视频序列进行预处理和相关特征参数的提取,并采用类似滑动窗口的原理对二者进行相似度的运算,根据运算结果可判断是否达到帧对齐.结果表明,该方法可以明显甄别出视频序列相应帧的对齐情况,算法简单、实时性较好,具有一定的实用价值.     

基于残差变换器的并行傅里叶卷积修复算法

为解决现有图像修复算法因缺乏上下文信息和有效的感受野导致修复大面积随机破损时效果差且只能修复低分辨率图像的缺陷,提出了基于残差变换器的并行傅里叶卷积修复算法.首先,提出基于变换器的改进残差网络模块提取待修复图像的纹理特征;然后,设计并行快速傅里叶卷积模块增强损失图像的高度有效感受野捕捉结构信息;最后,提出门控双特征融合模块交换和结合图像的结构与纹理分量,融合上下文特征,改善生成纹理的细粒度.在两个公开数据集上进行定性和定量实验,实验结果表明：所提算法可有效修复结构复杂且纹理精细的随机不规则大面积破损区域,生成结构合理、纹理细腻和语义丰富的高保真图像,并能用于高分辨率图像的目标移除.     

分布式视频编码中量化失真和LDPC编解码失真的优化

针对分布式视频编码中的量化失真和LDPC（Low Density Parity Check）编解码失真问题,提出了基于边缘分类的DCT（Discrete Cosine Transform）系数重组和基于边缘Hash的子块修复方案.首先根据子块边缘方向的不同,WZ （Wyner-Ziv）帧子块被分成3类,对不同类型的子块,其DCT系数采用不同的扫描方式并重组,使较大的DCT系数被组合在一起,减小了交流系数的量化步长.同时,把子块边缘信息作为Hash信息,指导WZ帧LDPC解码出错的子块的修复.最后,通过实验证实了提出的方法能使高量化等级下编码器的PSNR（Peak Signal to Noise Ratio）性能增益达到0.5 dB左右.     

基于时空感知级联神经网络的视频前背景分离

针对在复杂情景下视频前背景分离技术中存在的前景泄露问题,设计开发了一个端对端的二级级联深度卷积神经网络,实现了对输入视频序列进行精确的前景和背景分离.所提网络由一级前景检测子网络和二级背景重建子网络串联而成.一级网络融合时间和空间信息,其输入包含2个部分:第1个部分是3张连续的彩色RGB视频帧,分别为上一帧、当前帧和下一帧;第2个部分是3张与彩色视频帧相对应的光流图.一级前景检测子网络通过结合2部分输入对视频序列中运动的前景进行精确检测,生成二值化的前景掩膜.该部分网络是一个编码器-解码器网络:编码器采用VGG16的前5个卷积块,用来提取两部分输入的特征图,并在经过每一个卷积层后对两类特征图进行特征融合;解码器由5个反卷积模块构成,通过学习特征空间到图像空间的映射,从而生成当前帧的二值化的前景掩膜.二级网络包含3个部分:编码器、传输层和解码器.二级网络能够利用当前帧和生成的前景掩膜对缺失的背景图像进行高质量的修复重建.实验结果表明,本文所提时空感知级联卷积神经网络在公共数据集上取得了较其他方法更好的结果,能够应对各种复杂场景,具有较强的通用性和泛化能力,且前景检测和背景重建结果显著超越多种现有方法.     

噪声特点分析在老电影声音数字修复中的应用

基于当前国内老电影声音修复的现状——声音数字修复中使用的去噪、编辑等工具需要人工干预的成分较多,导致声音修复效率无法有效提升.本文在数十部老电影声音数字修复的实践经验基础上,分别挑选20世纪50,60,70,80年代的多部老电影,从中截取数十段噪声样本,对其进行分类梳理和噪声声学特点分析,并对每段噪声给出当前常用去噪办法的说明.本文的研究内容为未来电影声音修复的算法研发及相关研究提供了一份真实可靠、具有借鉴价值的数据支持.     

基于改进SOM的壁画图像裂缝自动识别与修复

针对壁画中存在的裂缝这一常见病害,提出一种基于人工神经网络(ANN)的自组织映射(SOM)图像修复算法,将人工智能技术应用于古建筑壁画修复领域.基于壁画裂缝本身的线性结构特征,对图像进行多尺度形态学边缘梯度检测提取边缘信息,使得裂缝边界区域灰度变化剧烈,从而达到边界突出的效果;对变换后的图像进行自适应阈值分割处理,以保证图像中每个像素点都属于目标区域;选取面积作为目标区域的连通规则进行度量以去除虚假目标,达到精确提取的目的,实现对破损像素的自动识别和标注;对壁画中已标注的破损区域采用改进的SOM算法进行修复,通过SOM聚类对图像进行分层,在单个图层中迭代计算出破损像素的值,实现对图像的并行化分层修复,在保障修复精度的同时提升修复的速率;合并图层,完成标注区域修复部分;最后通过对3种类型裂缝的壁画修复,本文所提出的改进SOM算法在修复图像峰值信噪比PSNR、特征相似度FSIM等4类指标显著提升,并且修复时间平均缩短40.34%,表明方法对于古建筑壁画裂缝修复的有效性和优越性.     

功率信息互相关法的刀具破损在线监测

为了在数控机床加工中对刀具破损进行有效监测以避免对工件及机床造成损坏,提出了一种利用机床加工功率特征信息和互相关算法的刀具破损在线监测方法。该方法通过Mallat多分辨分析小波算法提取工件正常加工时的主轴功率变化特征序列作为监测刀具状态的特征参考模板,在工件批量加工时采用改进的实时小波算法提取在加工工件的特征向量序列并与特征参考模板序列进行局部实时广义互相关系数计算,当刀具发生破损失效时,与正常情况相比在采样点计算时窗内的两特征向量子序列的相关性显著降低,将表征序列相关性的广义互相关系数定义为刀具状态系数(Tool Condition Index,TCI),对该系数设定合理的门限值即可监测刀具状态的异常。该方法在几种典型刀具破损的在线监测中均能准确识别刀具失效,实验结果表明其具有一定的实用性。     

基于可变窗的镜头边界检测算法

为了解决传统镜头边界检测算法的漏检和误检问题,对判决方法进行研究,提出了可变窗概念.当一个镜头中画面变化激烈时,减少窗口跨度;在平缓画面的镜头通过渐变过渡到另一个镜头时,增加窗口跨度.该算法统计各帧的分块直方图作为特征,结合可变窗判别机制,对非压缩域中的视频帧进行镜头边界检测.实验证明,该算法提高了整体镜头查全率,同时也降低了由于镜头画面激烈而发生的误检率.     

一种新的低复杂度监控视频ROI编码方案

在H.264视频编码框架下,针对静止摄像机采集的监控视频的特点,提出并实现了一种基于运动目标检测的感兴趣区域ROI编码方案。该方案以运动目标为ROI编码对象,根据ROI检测结果生成画面分割信息文件,并由此选择各宏块编码模式以及参考帧数量,通过调整相应运动宏块的量化参数值来完成对ROI对象的精细编码,从而达到减少算法复杂度、提高运动目标画面质量的目的。多个标准测试序列的测试表明,与H.264相比,该方案在编码时间上大大缩减,且重建画面的主观评测效果更好。     

单应变换下无人机序列图像高效率压缩算法

针对高空无人机航拍序列图像的实时图像压缩问题,设计了一种基于单应变换的可精确定比的高压缩性能低计算复杂度航拍序列图像压缩算法.该算法使用机载惯导数据进行编码帧组划分并获得中间帧相对于首尾帧的初始单应变换,进而通过多子区匹配实现对单应矩阵的快速精确求解,然后通过单应变换来实现对中间帧的整体运动估计和补偿,最后用JPEG2000算法对帧组数据进行整体压缩.实验结果表明,相对于传统算法,该算法具有计算复杂度低、压缩比高、保真度好、可精确定比压缩的优点.     

基于IEEE802.16OFDM系统时间同步算法

目的提出一种基于IEEE802.16标准的OFDM系统时间同步算法。方法帧检测算法,接收数据进行分组后搜索相关最大值,当满足特定条件时判断新帧出现;时间精同步算法,循环移位后的长训练序列作为新序列,与移位后接收信号序列相关获得精确的符号起始位置。结果该算法克服了前后符号相关算法精度低,与本地序列相关算法受频偏影响大的缺点。结论在低信噪比和大载波频率偏差的情况下,其算法仍可实现高精度的符号时间同步。