基于视觉感知与学习的图像质量评价

针对几种经典评价方法的缺点,通过引入人眼的主观特性,提出一种基于视觉感知与学习(visual perception and learning,VPL)的方法,以解决人类视觉系统(human vision system,HVS)多通道评价融合的不稳定性。借助反向传播(back propagation,BP)神经网络构建了评价融合模型,分别对几种视觉感知算法的多通道评价进行融合,并基于回归函数对视觉感知算法的结果进行二次互补融合。结果表明,相对于现有主流方法,本文所提方法的各项评价指标均具有较大的优势。     

基于视觉感知高度相关的图像质量评价

评估并监控图像质量是数字图像处理技术的基础工作。客观图像质量评价(IQA)旨在通过计算机开发与人眼视觉感知密切相关的算法。本文充分模拟人眼视觉系统(HVS)和大脑机制,提出了一种新的基于机器学习的全参考型图像质量评价模型CGDR。该模型融合了图像的色度特征、梯度特征、对比敏感度函数(CSF)特征以及Gauss差分(DOG)频带特征。其中,改进后的梯度算法不仅包含更丰富的相邻信息和多方向边缘信息,同时强调了参考图像和失真图像的边缘相关性。在三个基准图像数据库上的实验结果表明,CGDR的预测性能优于八种主流方法,跨数据库测试体现出其强大的鲁棒性,预测结果能够与人眼主观感知保持高度一致性。     

基于人类视觉系统的特征相似性图像质量评价

为克服现有特征相似性(FSIM)图像质量评价算法对图像信息无序部分及边缘信息度量能力的不足,利用人类视觉系统的内在推导机制,提出基于人类视觉系统的特征相似性图像质量评价算法HFSIM.该算法采用自回归预测模型分解并解读图像内容的预测部分和无序部分;联合FSIM与边缘结构相似性算法度量预测部分,采用多尺度峰值信噪比(PSNR)度量无序部分的衰减情况,最后根据噪声能量融合图像信息预测部分与无序部分的评价结果得到图像质量评价.在6个公开基准数据库上的实验结果表明,该算法与人类主观感知具有高度的一致性,且在各类型失真图像的评价上具有较好的性能.     

基于视觉感兴趣度和视觉系统特性融合的图像质量评价方法

在对视觉感兴趣度和人类视觉系统特性深入分析研究的基础上,提出了一种基于视觉感兴趣度和视觉系统特性相融合的图像质量评价新方法。该方法首先根据影响视觉感兴趣度的五个因子进行综合得到感兴趣度因子,结合结构相似性方法得到感兴趣度模型。然后利用小波分解后的子频带图像进行质量评价,对结果进行视觉敏感度加权,在此基础上得到评价算法。通过实验验证所提出的算法的正确性,其测试结果并与视觉主观感受保持很好的一致性。     

基于人眼视觉特征的立体图像质量客观评价方法

在充分利用人类视觉特性的基础上,模拟人眼感知立体图像的方式,提出了一种立体图像质量客观评价方法。该方法考虑了对比度敏感度、多通道结构和掩盖特性等多种人眼视觉特性．在处理HVS模型的多通道中,将图像的空间频率按视觉系统的掩盖效应特点分成5个带分别进行滤波,以改变原始图像的空间频率实验结果表明,所提出的方法与主观评价结果基本一致,能够反映图像质量以及立体感的优劣．     

基于视觉注意机制的图像质量评价

提出了一种基于人眼视觉注意机制的图像质量评价算法(VAIQM).首先,对输入图像进行预处理,以便分别在细节和轮廓2个层次上测量局部视觉畸变.然后,在视觉显著、中等显著和不显著区域分别计算区域相似度,并将其合并为图像整体的细节和轮廓相似度.最后,将细节和轮廓相似度合并为图像整体质量指标.实验结果表明,在A57,IVC,TID2008,Tomaya-MICT,LIVE,CSIQ和WIQ七种数据库上,VAIQM算法的整体性能均优于结构相似性(SSIM)算法及其扩展版本MS-SSIM算法,能更好地体现主客观评价的一致性.MS-SSIM算法需要利用多分辨率分析工具将待测图像分解为若干子带,其计算复杂度远高于VAIQM算法.此外,VAIQM算法在这7种数据库上的性能波动均较小,显示出较高的鲁棒性.     

基于视觉感兴趣度和HVS特性融合的图像质量评价方法

本文在对视觉感兴趣度和人类视觉系统特性深入分析研究的基础上,提出了一种基于视觉感兴趣度和视觉系统特性相融合的图像质量评价新方法。该方法首先根据影响视觉感兴趣度的五个因子进行综合得到感兴趣度因子,结合结构相似性方法得到感兴趣度模型。然后利用小波分解后的子频带图像进行质量评价,对结果进行视觉敏感度加权,在此基础上得到评价算法。并通过实验验证本文所提出的算法的正确性,其测试结果并与视觉主观感受保持很好的一致性。     

基于视觉显著性与对比度特性的图像质量评价

提出1种用于客观图像质量评价的新方法.分别对参考图像与失真图像进行高斯金字塔分解;对于分解后的每1层图像,采用基于相位谱的视觉显著图来计算2幅图像中每个对应像素点间的相似性,同时采用梯度图表示图像的对比度特性.视觉显著性和对比度特性互为补充,分别反映了人类视觉系统的不同特性,将2者加权相乘可获得单尺度的质量评价值;最后对各层结果进行综合可获得失真图像的客观质量评价值.在LIVE、TID 2008、CSIQ、IVC 4个公开的图像质量评价数据库上进行了大量的实验,结果表明,与其他相关的图像质量评价方法相比,提出的客观质量评价方法与人类主观评价的结果具有更好的一致性.     

局部和全局特征融合的色调映射图像质量评价

人类视觉系统首先粗略地感知全局区域,然后精细地感知局部区域的图像质量.针对色调映射图像的质量评价问题,考虑人眼视觉机制的特性,提出一种融合局部和全局特征的无参考图像质量评价算法.首先从全局特征出发,考虑了颜色矩、全局熵和欠曝光/过曝光条件下的明暗分布特性,得到相应的全局特征;然后结合局部对比度、局部熵和分块小波能量,得到相应的局部特征;最后,融合全局特征和局部特征,使用支持向量回归进行特征训练,建立图像特征空间与感观质量分数的关系,得到图像质量评价模型.在公开的ESPL-LIVE HDR数据库上验证,实验结果表明,提出的方法与主观评分有较高的一致性,并且性能优于目前较优秀的无参考图像质量评价算法.     

基于初级视皮层视觉特性的图像质量评价方法

针对现有的图像质量评价方法多从特征提取角度考虑图像的失真,忽视初级视皮层是视觉信息处理和认知推理的前提的问题,受人类视觉系统特性的启发,提出一种基于初级视皮层视觉特性的图像质量评价算法;该方法基于对初级视皮层视觉特性的学习,利用初级视皮层中感受野对视觉感知信息的稀疏编码特性,提取模拟初级视皮层感受野特性的基函数,结合独立成分分析和结构相似度算法构建一种初级视觉相似性测度法,并在LIVE图像数据库中进行实验。结果表明,该模型的预测结果与主观质量评价有很好的一致性,并优于已有的结构相似度算法。     

基于多通道特征聚合的盲图像质量评价

提出一种基于多通道融合特征的方法,在多种不同颜色空间中提取多种异构且互补的感知质量敏感特征并将其堆叠为一个特征图组,然后使用费舍尔向量对特征图组编码作为图像表征来解决盲图像质量评价问题.实验结果表明:在多个图像数据集中,该算法相较于传统自然场景统计方法有更好的性能和鲁棒性,与人眼主观感知质量有较高的一致性,在LIVE,CSIQ和TID2013三个主流数据库上分别取得了0.952,0.915和0.795的斯皮尔曼等级相关系数(SROCC),同时具有较强的泛化能力.     

一种基于视觉加权处理的图像质量评价方法

本文提出了一种新的图像质量客观评价方法－－视觉加权均方误差（ＷＭＳＥ）,该方法以归一化均方误差为基础,结合人眼视觉特性,采用子带分割和视觉加权等处理方法,使评价结果与ＣＣＩＲ５００标准的主观评价相吻合,实现了主观评价客观化的目标,对加噪后的降质图像进行实验的结果表明,该方法是有效的,可靠的,且易于实现。     

基于彩色空间视觉相似分解的图像质量评价方法

针对视觉感知和结构化图像质量评价方法中均存在与视觉感受不吻合的现象,在建立亮度空间视觉相似分解方法的基础上,依据韦伯定律的基本概念并将其扩展到RGB三基色彩色空间,由此提出了一种基于彩色空间视觉相似分解的图像质量评价方法.该方法在保证误差图像和标准图像间的形状和色彩均完全相似的基础上,将误差图像分解为均值分量、交变相似分量和交变无关分量.由于这三个分量在视觉感受上截然不同,从而依据对视觉感知差异起到主导作用的交变无关分量来评价彩色图像质量.实验结果表明,该彩色空间图像质量评价模型与主观视觉感受吻合较好.     

基于视觉感知特性的人机交互界面评价

为提高工业现场人机交互界面使用的高效性和适用性,文章提出了一种基于视觉感知强度的人机交互界面优化评价方法。首先根据人眼视锥感知细胞的分布特性,构建了人机交互界面视觉感知强度划分模型;然后采用优序法进行视觉元素重要度等级的划分,得到了视觉感知元素权重;最后在对人机界面视觉感知强度进行研究的基础上,将人机界面元素的视觉感知强度进行了量化分析,对不同设计方案进行量化对比。以螺孔检测仪人机交互界面分析为例,得到方案B的视觉感知强度大于方案A,表明了该评价方法对人机交互界面进行评价的可行性和有效性。     

基于多尺度特征逐层融合深度神经网络的无参考图像质量评价方法

现有的针对真实失真的无参考图像质量评价算法提取的特征对自然场景图像质量的表征能力较差,限制了其评估准确性和泛化能力。针对该问题,文中提出了一个基于多尺度特征逐层融合的深度神经网络(MsFF-Net)。首先,利用预训练的深度神经网络ResNet-50提取图像多尺度特征;然后,提出了一种特征融合模块,通过逐层递进融合相邻尺度特征,获得更准确表征图像质量的多尺度融合特征;接着,从多尺度融合特征提取低维特征,得到多粒度的图像质量感知特征;最后,利用由最高层特征自适应生成的全连接神经网络,对低维特征进行回归,得到自然场景图像的质量预测。仿真结果表明,MsFF-Net在真实失真数据库上的性能优于目前的大多数方法,而且在合成失真数据库上也取得了出色的评价性能。     

基于关系感知双重注意力融合的视觉问答技术

传统视觉问答技术仅采用简单的位置注意力,缺乏语义注意力,从而引起问题推理错误.本文采用双重注意力机制从图像获取位置信息和语义信息,以外积形式进行融合,获得文本也采用双重注意力融合实体和对应关系的信息,帮助理解问题.双重注意力动态方式可以实现关系融合、动态学习,改变传统静态学习方式.以多标签分类器实现答案推理,减少传统二...     

基于场景理解的双波段彩色融合图像质量评价

为了针对具体的视觉任务衡量可见光与红外彩色(夜视)融合图像的综合质量,提出了一种基于场景理解的双波段彩色融合图像综合质量客观评价模型.该模型包括融合图像特征提取器、邻域共生矩阵特征提取器和权重生成器三部分.首先,使用融合图像特征提取器从融合图像中提取像素强度信息;然后,建立邻域共生矩阵特征提取器,从邻域共生矩阵中提取像素空间关系信息;最后,建立权重生成器,使用神经网络模型从梯度图中提取结构信息,将位置信息与结构信息相结合生成权重.实验结果表明,该方法在提取丰富的图像特征基础上,考虑人眼视觉特性,提高了模型预测值与人眼主观感受的一致程度,实现了融合图像综合质量的客观评价.     

基于2D视觉注意模型的全参考图像质量评价方法

为进一步提高视频图像质量评价主客观的一致性, 提出一种基于2D视觉注意模型的全参考质量评价方法。将2D视觉注意模型与PSNR(Peak Signal to Noise Ratio)、 SSIM（Structural Similarity Index Method）、 GSSIM(Gradient based Structural Similarity Index Method)评价方法相结合, 进行视频图像质量评价。实验结果表明, 该方法对图像质量评价较原PSNR、SSIM、GSSIM方法更有效; 在LIVE数据库上得到的Pearson、Spearman相关系数分别为0.903 5和0.903 1; 较其他评价方法原理简单, 计算复杂度较低, 且性能较优, 具有很好的评价效果。     

基于深度网络和视觉特性的无参考图像质量评价方法

图像质量评价是图像处理和计算机视觉领域的基础性问题,对于视觉信息的采集、处理和分析系统性能的评判具有重要的意义.现有的无参考型图像质量评价方法都是基于自然统计规律的,或者构建单一网络模型,并未考虑视觉感知特性,使得最终的评价结果与主观感受间存在较大差异.为此,本文提出一种结合多种网络特性和最差视觉感知特性的无参考型图像质量评价方法.首先,提取图像的去均值对比度归一化特征,将特征图进行重叠分块;然后,构建VGG与Inception相结合的深度网络,对图像块提取深度感知特征;最后,将分块图像的质量分数集合进行排序,利用视觉感知最差情况加权策略对序列进行加权求和,得到最终的图像质量分数.在国际公开的质量评价数据库CSIQ、LIVE和TID2013上的实验结果表明,本文方法取得了优于现有方法的主客观一致性性能.     

基于运动空间视觉感知的导向标志布局评价

采用适用于建筑物内部的凸多边形分割方法对轨道站空间进行分割,提取平均深度值和便捷度2个变量分析行人流线所经过空间的结构系统;根据寻路过程中人的水平和垂直视角构建的立体空间可见视域范围结合寻路流线和流量关系分析运动过程中人的空间感知,建立流线可见度指标,提出轨道站内导向标志布局合理性量化评价分析方法,并结合实例进行应用分析.