基于2D视觉注意模型的全参考图像质量评价方法

为进一步提高视频图像质量评价主客观的一致性, 提出一种基于2D视觉注意模型的全参考质量评价方法。将2D视觉注意模型与PSNR(Peak Signal to Noise Ratio)、 SSIM（Structural Similarity Index Method）、 GSSIM(Gradient based Structural Similarity Index Method)评价方法相结合, 进行视频图像质量评价。实验结果表明, 该方法对图像质量评价较原PSNR、SSIM、GSSIM方法更有效; 在LIVE数据库上得到的Pearson、Spearman相关系数分别为0.903 5和0.903 1; 较其他评价方法原理简单, 计算复杂度较低, 且性能较优, 具有很好的评价效果。     

基于注意力选择与感觉容量的图像质量评价算法

图像质量评价是用可计算的模型模拟人的主观判断。根据人眼对图像高低频失真的感觉容量不同及注意力选择特性,本文提出一种新的图像质量评价算法。首先,将图像的高低频信号分别选用视觉显著图的系数和小波变换的近似系数表示;然后,采用不同方法分别计算图像高频和低频失真量,两种失真量的乘积就代表图像质量评价。这种客观评价算法与LIVE图库中DMOS的线性相关性达到0.906 4以上,明显优于PSNR和SSIM等算法。     

融合深度学习和视觉文本的视频描述方法

为解决当前视频描述任务中,生成描述视频的文本整体质量不高的问题,提出一种融合深度网络和视觉文本的视频描述模型.首先在编码阶段,将注意力机制引入3D残差模块,通过一维通道注意力与二维空间注意力增强视频特征映射,降低无关目标与噪声的影响;其次,解码阶段利用双层长短期记忆(long short-term memory,LSTM)深度网络的时序性特征,输出表述视频高层语义的文本描述;最后,为有效利用视觉文本信息丰富视频生成的语义描述,利用基于神经网络的主题模型提取出视频中的主题作为视觉文本融合进模型中.实验结果表明,本文方法在不同性能指标方面具有较好的准确性,能够更加准确地利用自然语言描述视频高层语义信息.     

一种基于二代Curvelet变换的图像融合新算法

基于Curvelet变换,提出了一种新的融合算法.首先将图像进行Curvelet变换,然后对低频系数和高频系数采用不同的融合规则将Curvelet系数融合,最后进行重构得到融合结果.对该方法得到的融合图像进行了主客观评价和对比.实验结果表明,该方法得到的融合图像在图像边缘等细节上比其他方法得到的图像具有更好的视觉效果,在均方误差、峰值信噪比、相似度等客观指标上都优于其它方法.     

基于唇重构与三维耦合CNN的多视角音唇一致性判别

针对传统音唇一致性判别方法主要对正面唇动视频进行处理,未考虑视频采集角度变化对结果的影响,且容易忽略唇动过程中的时空特性等不足,文中以唇部角度变化对一致性判别的影响为研究重心,结合三维卷积神经网络在非线性表示和时空维度特征提取上的优势,提出了基于正面唇重构与三维耦合卷积神经网络的多视角音唇一致性判别方法。该方法先通过在生成器中引入自映射损失来提高正面重建效果,并采用基于自映射监督循环一致性生成对抗网络（SMS-CycleGAN）的唇重构方法对多视角唇图进行角度分类及正面重构;然后设计两个异构三维卷积神经网络,分别用来描述音频和视频信号,并提取包含长时时空关联信息的三维卷积特征;最后引入对比损失函数作为音视频信号匹配的相关度鉴别度量,将音视频网络输出耦合到同一表示空间,并进行一致性判别。实验结果表明,文中方法能重建出更高质量的正面唇图,一致性判别性能优于多种不同类型的比较方法。     

基于分数阶微分的图像质量评价

基于感觉容量的图像质量评价算法(SC)计算简单、性能良好。它的图像细节用拉普拉斯变换系数表示,但拉普拉斯变换对噪声敏感,而分数阶微分可以提升信号中高频成分,且对噪声不敏感。文中提出了一种基于分数阶微分(FDSC)的图像质量评价方法,该方法将分数阶微分取代SC模型中的拉普拉斯变换。实验结果表明,FDSC模型与LIVE图库上差异主观评价分(DMOS)的线性相关性优于PSNR、SC和结构相似度算法。     

基于神经网络的降质图像恢复

以基于离散Hopfield神经网络的图像恢复模型为基础,研究基于神经网络解决降质图像恢复问题. 从Toeplitz循环矩阵和模拟退火算法等二个方面对该算法进行改进,使时间复杂度和空间复杂度大大降低,同时提高了图像的恢复效果. 实验表明,改进算法对于降质图像恢复是有效的,比传统的逆滤波、维纳滤波方法具有更好的峰值信噪比.     

基于快速残差插值和卷积神经网络的去马赛克算法

针对传统插值法存在的图像细节不能很好恢复的不足,利用卷积神经网络作为残差插值法的后处理操作,提出了一种基于残差插值和卷积神经网络的去马赛克算法。方法分为初始去马赛克和细节恢复后处理两部分。先用改进的基于梯度的快速残差插值法实现初步去马赛克插值,并针对恢复图像中包含了彩色伪影,细节丢失等问题,再使用深度残差网络学习恢复图像与理想全彩色图像之间的映射,实现后处理。在Kodak数据集和IMAX数据集上的实验结果表明,该方法结果在主观视觉特性和客观评价指标两方面相较于传统方法都有明显改进。     

基于像素流的视频彩色化

针对利用传统光流传递关键帧颜色信息的视频彩色化方法计算耗时问题,以及全局传递颜色的视频彩色化方法导致欠饱和度问题,提出基于像素流的视频彩色化方法.首先,将参考帧与目标帧转换到Lab颜色空间中,利用其亮度通道通过一个深度学习网络得到像素流,该像素流中的数值指示了目标帧的颜色在参考帧中的位置;然后,利用该像素流对参考帧颜色...     

一种分区BP人工神经网络图像差值算法

为了提高图像插值质量,利用前向反馈人工神经网络（BP-ANN）的自学习、自适应和泛化能力,开展分区BP-ANN图像差值研究.将图像中待插值像素划分为光滑区和边缘区,每个区分别对应1个BP-ANN进行图像差值操作,并通过3组实验确定分区BP-ANN的网络结构、采点模式和插值流程.结果表明,采用8-16-1拓扑结构的BP-ANN算法可达到图像的可视化质量和时间之间的最佳平衡点;与经典线性均值（LA）图像插值算法相比,分区BP-ANN算法在保持最佳视觉效果的前提下,峰值性噪比高约0.593 8 dB.     

葡萄酒质量的评价模型

本文是对2012年全国大学生数学建模竞赛A题的解答,建立了葡萄酒质量的评价模型,对葡萄和葡萄酒的理化指标与其质量的关系进行了分析.在问题1中,通过非参数检验方法检验这两组品酒员对酒的打分是否有显著性差异,利用协和系数分析检验两组品酒员对酒的打分的可靠程度.在问题2中,采用了基于SOM网络的等级分类和SPSS的聚类分析对酿酒葡萄进行分类,然后根据每一类葡萄酒得分均值对葡萄进行分级.在问题3中,以葡萄的指标数据为输入层,葡萄酒的指标数据为输出层,建立BP广义回归神经网络模型,得到两者之间的定量关系.在问题4中,首先采用灰关联模型,得出酿酒葡萄和葡萄酒理化指标和葡萄酒质量的关联度,然后建立支持向量机的回归拟合模型,得到葡萄酒和酿酒葡萄的理化指标与葡萄酒质量之间的定量关系.     

基于用户行为的教学视频内容质量评价方法

针对目前网络教学视频内容质量评价以主观方法为主,缺乏客观的质量界定标准的问题,提出一种基于用户观看行为的网络教学视频质量评价方法.该方法首先采集单个用户观看某个网络教学视频的行为数据,并对数据进行标准化处理;然后根据视频质量评价标准,实现数据标签化;再通过全连接神经网络,利用Softmax划分单个用户对网络教学视频内容质量的分类;最后,将所有用户观看该视频的分类加权平均后得到对该视频的综合评价.测试结果表明,该模型评价教学视频的准确率为79.5%,分类效果明显,具有较高的实用价值.     

一种失真模糊图像的无参考质量评价方法

针对现有的无参考质量评价方法对失真模糊图像不能有效评价这一现象,提出了一种针对失真模糊图像的无参考质量评价方法。该方法将结构相似度(structural Similarity,SSIM)全参考质量评价方法应用到无参考质量评价中,不仅扩宽了SSIM方法的应用范围,也解决了SSIM方法不能合理评价模糊图像质量这一缺陷。首先对失真模糊图像进行低通滤波得到参考图像,计算失真图像与参考图像的结构相似度;然后提取图像的纹理特征,计算失真图像与参考图像的纹理相似度;最后将这两个相似度指标作为输入,LIVE图像数据库提供的主观评价值(different mean objective score,DMOS)作为输出,建立一个[29 1]单隐层BP(back propagation)神经网络预测模型。实验结果表明,方法的预测结果稳定且与人的主观评价分数偏差小,Pearson相关系数(correlation coefficient,CC)和Spearman等级相关系数(rank order correlation coefficient,ROCC)均达到了0.97以上。     

基于跨层复制连接卷积神经网络的遥感图像融合

首先, 基于卷积神经网络提出一种采用跨层复制连接操作融合不同尺度特征图的遥感图像融合模型, 解决了传统遥感图像融合方法对不同类型遥感图像需人为选择不同的分解融合规则, 导致融合图像质量受选择规则影响较大的问题. 其次, 使用Deimos卫星和QuickBird 卫星数据验证该方法的有效性, 并用主观和客观相结合的方法评价融合图像质量. 实验结果表明, 该遥感图像融合模型与传统方法相比, 能有效将全色图像的空间信息与多光谱图像的光谱信息融合, 并抑制光谱扭曲.     

基于DCT和CNN混沌系统的彩色数字水印加密新算法

数字水印技术作为抵抗多媒体盗版的最后一道技术防线,具有广泛的应用前景和巨大的经济价值。基于离散余弦变换(DCT)以及细胞神经网络(CNN)混沌理论提出了一种数字水印加密新算法。算法分两步进行,首先是利用5阶细胞神经网络混沌系统产生的随机序列辅助某种运算对彩色水印图像加密,然后利用分块离散余弦变换将加密以后的彩色水印图像嵌入到载体彩色图像中,以此来实现水印加密以及嵌入的过程。在仿真实验基础上,通过指标PSNR和NC的定量分析,结果证明新算法具有较强鲁棒性,不可感知性和安全性。     

基于跨层复制连接卷积神经网络的遥感图像融合

首先, 基于卷积神经网络提出一种采用跨层复制连接操作融合不同尺度特征图的遥感图像融合模型, 解决了传统遥感图像融合方法对不同类型遥感图像需人为选择不同的分解融合规则, 导致融合图像质量受选择规则影响较大的问题. 其次, 使用Deimos卫星和QuickBird 卫星数据验证该方法的有效性, 并用主观和客观相结合的方法评价融合图像质量. 实验结果表明, 该遥感图像融合模型与传统方法相比, 能有效将全色图像的空间信息与多光谱图像的光谱信息融合, 并抑制光谱扭曲.     

一种与亮度细节相关的图像质量评价方法

由于图像质量取决于主观视觉标准,基于HVS模型分析图像质量的方法,逐步成为图像质量评价的一个新的活跃研究方向。文章基于JND思路,采用建立正交变换库的方法,将图像划分为不同的频带,获取对应频带下的亮度细节视觉阈值,建立亮度细节损伤因子,确定与图像亮度细节相关的质量评价方法;实验方法扩展了视觉多通道特性的分析方法,对应正交变换亮度细节视觉阈值的结果,可以提供图像质量评价参考使用。     

一种基于高阶统计量的图像质量客观评价方法

提出一种新的图像质量的客观评价方法,该方法用平均高阶细节累积量作为衡量图像质量的指标,无需原始图像作参考,特别适合于多媒体图像通信及无法得到原始图的像的场合对图像质量进行评价,且很容易去除高斯噪声对图像质量评价的影响,仿真实验结果表明,该方法所得结果大多数情况下与峰值对数信噪比指标相符合,并且在峰值对数信噪比不能很好的反映图像质量的情况下,该方法所用的指标也能比较准确地反映图像的质量,符合人眼的视觉特征。     

结合人眼视觉综合感知差与r-g色域峰值偏差的彩色图像客观评价方法

针对图像色彩复原应用中对彩色图像质量评价的需求,在图像灰度直方图累计分布差的基础上,通过引入人眼视觉敏感度等修正因子,得到了直方图感知差的评价方法,并与图像的信息熵和平均梯度指标相结合,提出了基于综合感知差的评价方法以及将综合感知差与色域峰值偏差结合的无参考型彩色图像评价新方法.构建了不同光照条件下的标准彩色图像测试数据库,通过与传统的客观评价标准相比,新方法在图像亮度感知、色调信息和图像综合质量等方面均表现出与主观评价更高的一致性.     

双通道立体图像质量评价方法的研究

针对立体图像质量评价问题,基于人眼观测图像的感知特性,提出一种双通道立体图像质量评价算法。首先,获取双目视图的拉普拉斯金字塔序列构建融合图,采用并行域分解多权重化策略提取双目局部质量感知特征;然后,结合视觉平衡特性引入语义特征通道提取双目高层次语义特征;最后,在支持向量回归的基础上得到双通道主客观图像质量评价值的关系映射。双通道网络集成了包含视差信息的多局部细节特征与全局语义特征,在LIVE 3D 立体图像库进行性能测试,结果表明,算法所得预测值与主观评价值间具有良好的一致性。