基于卷积神经网络的立体图像质量评价

随着立体图像的广泛应用,迫切需要一个具有通用性的工具来评估立体图像的视觉质量,因此提出一种基于卷积神经网络的无参考立体图像质量评价算法。首先使用平面图像数据集对算法框架的主体结构质量图生成网络进行训练;然后使用训练好的网络预测立体图像融合视点图像的质量;最后使用一种加权融合方法得到最终的立体图像质量分数。试验结果表明,算法框架具有相对较好的准确性和鲁棒性。     

基于视觉特性的图像融合质量评价新方法

建立图像融合质量评价标准是图像融合中急需解决的问题之一,本文在分析讨论了现有主、客观评价方法的基础上,提出的一种新的结合主观和客观因素的图像融合质量评价方法,该方法无需理想图像,同时充分考虑了人类视觉特性.通过对红外与微光图像在不同融合算法下的质量进行评价表明,该方法是一种实用的、有效的图像融合质量评价方法,可以为选择图像融合算法提供依据.     

注意力机制下的多层次特征融合图像去雾算法

提出一种基于注意力机制的多层次特征融合的图像去雾算法.该算法通过残差密集网络和自校准卷积网络来提取不同尺度的特征,再利用双重注意单元和像素注意力将特征融合重建.同时采用一种由均方误差损失、边缘损失和鲁棒性损失函数相结合的损失函数,可以更好地保留细节特征.实验表明,该算法与其他去雾算法相比在峰值信噪比和结构相似度指标上得到一定的提高,去雾图像在主观视觉上取得了较好表现.     

基于权重组合学习的无参考立体图像质量评价

深度学习被广泛应用于2D 图像的质量评价(2D-IQA) 研究中,而在3D 图像质量评价(3D-IQA) 中还没有展开深入研究.针对对齐失真立体图像,本文提出了一种基于权重组合学习的无参考立体图像质量评价模型.通过有效融合两支独立的单视图质量评价深度网络模型,将左右眼视图作为整体对象进行评估; 再根据双目竞争原理,又设计了一种权重深度网络用以估计左右眼的不同能量分布; 最后,这两个子网络组合成端到端的权重组合学习深度质量网络.实验结果证明: 该模型对于对称失真的立体图像质量评价有显著提升.     

城市卫星遥感图像融合处理质量评价研究

常用的遥感融合方法常导致较严重的光谱畸变,为减少融合图像光谱特征的扭曲,提出三种新融合方法即合成变量比值法(SVR)、平滑滤波亮度调制法(SFIM)和Gram_Schimdt变换法(GS)。采用定量分析方法,分别对中等分辨率Landsat ETM+数据和高分辨率Quickbird数据的融合效果进行了评价。结果表明,不同方法具有不同的光谱保真度和空间信息融入度。同一种方法对于不同分辨率的遥感数据具有不同的融合效果。对中等分辨率Landsat ETM+数据,SFIM能产生较高的空间信息融入度和光谱保真度。利用中等分辨率Landsat ETM+数据进行融合处理时,SFIM优于合成SVR和GS;在高分辨率Quickbird数据的融合中,SVR能产生较高的空间信息融入度和光谱保真度。利用高分辨率Quickbird数据进行融合处理时,SVR则优于SFIM和GS。在中等分辨率Landsat ETM+数据、高分辨率Quickbird数据融合处理中,基于SFIM、SVR融合方法能分别获得较好的视觉效果,又能改善目视解译和遥感分类精度。     

基于视觉注意力机制的图像检索研究

信息技术的发展使各种图像信息日益膨胀,如何从中找到重要的信息一直是机器视觉和信息处理研究中长期面临的重要问题。将视觉注意力机制引入到图像分析领域,则能获得高效的检索能力。本文首先介绍了视觉注意力、视觉注意力计算模型及研究现状,其次分析了图像中引入视觉显著性的必要性和重要性,论述了图像视觉显著性的层次、显著性特征的选择及度量;最后给出了有待研究的重点问题。     

卷积特征图融合与显著性检测的图像检索

针对基于深度学习的图像检索提取特征往往包含了复杂的背景噪声,导致图像检索的精确率并不高的问题,提出一种特征图融合与显著性检测的方法.首先,训练用于分类的深度卷积神经网络模型.然后,并将图像卷积之后的特征图谱进行融合,得到图像的显著性区域.最后,通过计算图像显著性特征的余弦距离来进行检索.实验结果证明:相比目前主流的方法,文中方法能够有效提高检测精度,且鲁棒性较高.     

基于图像边缘区的图像评价方法

通过对图像处理中的缩放算法得到的图像误差进行分析,发现图像误差主要集中在图像边缘区,进而提出了基于边缘稳定的图像评价方法,实验表明,该方法符合人的主观视觉质量需求．     

一种全景图像展开的新方法

分析了全景图像展开的各种方法,提出了一种全景图像展开方法——基于光路跟踪的对称复用全景图像展开方法。根据光路跟踪的坐标映射及环状全景图的坐标对称关系,来实现全景图像的展开,通过分析得出,该方法的设计具有准确、快速和占用资源少等特点,可以有效的应用于实时全景视频展开系统。     

基于视觉注意力融合的表面微小缺陷检测

在生产过程中手机等智能设备的屏幕表面可能出现的微小缺陷与灰尘等脏污很相似,传统检测方法易将脏污误检为缺陷。为了提高产品表面微小缺陷的识别准确率,本文提出一种基于视觉注意力融合的检测方法。首先利用金字塔下采样初步识别出潜在目标,以减少图像数据量及提高计算效率,然后将角点检测、伽马变换和Otsu阈值分割等传统检测方法与3种显著性提取方法(布尔图显著性模型BMS、谱残差模型SR和频率调谐模型FT)相结合,建立了融合检测模型。实验结果表明,所提出的融合模型能够较为准确地区分出缺陷与脏污,F₁值可达到0.73,与其他几种显著性检测方法相比,本文方法在对脏污的识别上具有明显优势。     

基于视觉注意机制的图像质量评价

提出了一种基于人眼视觉注意机制的图像质量评价算法(VAIQM).首先,对输入图像进行预处理,以便分别在细节和轮廓2个层次上测量局部视觉畸变.然后,在视觉显著、中等显著和不显著区域分别计算区域相似度,并将其合并为图像整体的细节和轮廓相似度.最后,将细节和轮廓相似度合并为图像整体质量指标.实验结果表明,在A57,IVC,TID2008,Tomaya-MICT,LIVE,CSIQ和WIQ七种数据库上,VAIQM算法的整体性能均优于结构相似性(SSIM)算法及其扩展版本MS-SSIM算法,能更好地体现主客观评价的一致性.MS-SSIM算法需要利用多分辨率分析工具将待测图像分解为若干子带,其计算复杂度远高于VAIQM算法.此外,VAIQM算法在这7种数据库上的性能波动均较小,显示出较高的鲁棒性.     

基于序列图像的全景图像拼接

基于图像建模和绘制的虚拟环境构造是近年来虚拟现实技术研究的热点。其中基于序列图像的全景图像拼接技术研究是虚拟环境临场感的一个关键因素,文章以普通照相机拍摄的序列图像为基础,通过相邻两幅序列图像差值图像极值点的搜寻,可以快速提取两幅序列图像之间的重叠部分,并采用线性加权法使得缝合后的图像自然、逼真。最后给出了本算法在PC机拼接的效果图。     

基于相位相关的全景图像拼接

全景图拼接是实现虚拟场景构建的一种重要方法。文章采用基于傅氏功率谱的频域相关技术来寻找相邻图像的重叠部分,首先将相机拍摄的实景照片投影到圆柱面上,以柱面图像的形式存储;然后精确定位相邻两张照片间的重叠位置并融合相邻图像的亮度,通过图像拼接形成完整的360°环境视景;采用互功率谱中的相位信息进行图像配准,对图像间的亮度变化不敏感,可以有效避免局部最优的现象;实验结果证明,该算法具有一定的抗干扰能力和较高的匹配精度。     

基于ASAM注意力机制的光场图像压缩方法

为了研究光场图像的空间信息和相似角度信息之间的差异性,提高光场图像的传输效率,提出了一种基于端到端网络的角度空间注意力模型（ASAM）注意力机制的光场图像压缩方法 .以卷积块注意力模型（CBAM）的注意力机制为基础,增强了相对角度特征,提高了压缩编码效率.稀疏图像采用H.266/VVC视频编解码器进行压缩,通过子孔径图像（SAI）网络恢复编码后的图像.结果表明,与现有的光场图像压缩方法相比,所提出的光场图像压缩方法具有较高的图像压缩性能,Bj?ntegaard-Delta比特率（BD-BR）降低了52.30%,Bj?ntegaard-Delta峰值信噪比（BD-PSNR）提高了3.33 dB.     

基于时域结构的二值图像质量评价

提出基于时域分层结构的图像质量评价方法，认为分层结构矩阵由细节到抽象的过程反映了人类视觉抓取信息的过程．先提取图像分层结构，计算降质前后图像结构矩阵对等层的互相关，然后对不同结构层赋予相应的层次因子以反映视觉对轮廓的敏感程度，最后加权累计整幅图像的结构相关SC（Structure Correhtlon）．实验证明SC可以代表降质图像与原图像的相似程度，能保证客观判断与主观视觉结果的一致性．图6，表2，参10．     

基于注意力机制和感知损失的遥感图像去噪

遥感图像去噪对于遥感图像在后续的分类、检测等任务中有着非常重要的作用.为了让去噪后的图像更好地保留边缘细节信息,同时增强深度网络对噪声污染区域的辨识能力,本文结合注意力机制以及感知损失来处理遥感图像,提出了一种新的基于残差自编码器的遥感图像去噪网络ARED-VGG.考虑到遥感图像中不同地物大小不同,该网络首先同时使用图像的空间和光谱信息来提取多尺度特征;然后使用残差自编码器网络结构来进行图像空间-光谱多尺度图像重建.为了增加网络的辨识能力,更多地关注网络中提取的高频特征,网络引入了注意力机制.同时为了让去噪后的结果更符合视觉感观,使用了感知损失混合均方误差作为损失函数.从实验结果知,本文所提出的方法在噪声去除和纹理细节保留方面与NLM3D、BM4D、LRMR、HSID-CNN和3DADCNN相比表现更优.在Washington DC mall遥感图像数据集上进行了仿真实验,平均峰值信噪比以及平均结构相似性指标都有较好的结果;在AVIRIS Indian Pines数据集上进行了真实数据实验,以去噪后的结果地物分类指标作为验证,整体分类精度以及Kappa系数分别为96.90%和0.9647;对网络结构进行了消融实验,在两个数据集下,本文所提出的网络结构都能获得更优的结果.本文提出基于注意力机制和感知损失的深度神经网络进行遥感图像去噪,提高了网络的辨识能力,实现了良好的去噪性能,并且有效保持了图像的细节信息和光谱信息.     

基于加权结构相似度的图像融合质量评价

利用结构信息理论,提出了基于加权结构相似度的图像融合质量评价方法.该方法充分考虑了图像的结构信息和人眼的视觉特性,无需标准参考图像,可以为不同场合下选择不同的算法提供依据.不同融合算法的质量评价结果表明该方法是有效的.     

基于近邻算法的GAN生成图像质量评价

GAN生成图像质量评价是指对GAN生成的图像进行评价,判断生成图像的失真度是否影响观察者的信息获取和主观感受.目前,GAN生成图像质量评价算法较少且算法运行效率不高.该文提出一种基于近邻算法的生成图像质量评价(Near-Neighbor based Generated Image Quality Assessment, NN-GIQA)算法,实现对GAN生成图像的自动、客观、高效评价.首先,基于ANN算法获取生成图像的近邻构成相似图像候选池,缩小生成图像对比范围;然后,基于KNN算法在相似图像候选池中获取与生成图像最相似的K个真实图像得到生成图像质量分数;最后,评价多个经典GAN模型在多个经典数据集上获取的生成图像的质量.实验结果表明本文方法有效提高了GAN生成图像质量评价的效率和准确性,运行时间仅为其他方法的1/9～1/28,其评价结果和人类主观评价结果的一致性达到80%以上,符合人类视觉感知.     

数字图像的质量评估

围绕数字图像的质量评估,进行了简要综述。分析了主观评估和客观评估各自的优缺点,回顾了传统的全参考图像质量评估方法;介绍了已广泛用于客观质量评估的人类视觉特性与感兴趣区域;列举并评述了2类代表性的全参考质量评估模型SSIM和FSIM;总结了无参考质量评估的一些特点和动向;最后对该领域未来的研究方向进行了展望。     

基于Attention机制的链接预测算法

针对社会网络中链接预测问题,提出了基于注意力(Attention)机制的链接表示及其预测算法.基于待预测节点的共邻关系构建其链接局部网络,设计了基于紧密游走的网络拓扑序列化方法.采用双向循环神经网络(Bi-RNN)对链接序列进行向量编码,以充分挖掘序列相关节点间的上下文依赖信息.通过Attention机制对链接中的节点进行关注和加权,强化重要节点对链接预测任务的贡献,实现链接拓扑特征的自动提取与准确分类预测.实验结果表明,在4种不同类型的社会网络数据集中,该算法的准确率和运算效率都有较大提高且普适性较强.