可见光与红外灰度融合图像感知对比度客观评价

如何客观有效地评价融合图像质量,是融合技术发展与装备应用面临的一个关键问题.图像对比度是衡量双波段灰度融合质量的一项重要的评价指标.针对目前的图像对比度客观计算模型没有充分反映人眼视觉特性,从而影响模型计算结果与人眼视觉感受的一致性的问题.在各向同性局部对比度计算模型基础上,引入人眼视觉的亮度掩盖特性,提出图像感知对比度客观评价模型.使用模拟灰度图像以及人眼主观评价实验得到的15组不同真实场景融合图像的对比度评价数据来验证客观计算模型.结果表明,相比于4种经典的对比度客观评价模型,建立的图像感知对比度模型评价结果更符合人眼视觉感受,可以有效实现双波段灰度融合图像感知对比度的客观评价.      

一种基于条件生成对抗网络的高感知图像压缩方法

针对如何获得符合人类视觉感知的压缩图像问题,提出了基于条件生成对抗网络的图像压缩模型(HPIC).在HPIC中,首先利用一个超先验概率模型对原始图像进行编码量化,将条件附加标签和残差模块相结合的生成器用于压缩图像的重建,基于深度卷积神经网络搭建的判别器则用于区分压缩后的图像和真实图像间的差异.损失函数是基于比特率-失真-感知优化理论来设计的,一方面选用基于预训练Inception网络特征值的感知失真指标来实现具有高感知质量的图像压缩重建,另一方面利用生成对抗网络损失来消除压缩伪影,提高压缩精度.实验结果表明,HPIC在比特率-失真-感知三重权衡中取得了较好的平衡,即使目前的常见算法使用两倍于本文算法的比特率,本文算法在所有的感知指标得分上均优于前者,HPIC仍能够实现具有高感知质量的压缩.     

一种用于智能零售视觉结算的增量学习方法

为了解决智能零售视觉结算任务中的增量学习问题,提出一个新颖的基于数据增广的三元组模型,由合成网络、渲染网络和检测网络组成。合成网络与渲染网络协同学习,将单品示例图像以数据增广方式生成分布接近真实数据的渲染视觉结算图像。在增量学习阶段,原有产品和新产品的示例图像协同学习,生成包含新产品的结算图像。所有渲染视觉结算图像被用于训练检测网络,训练好的模型能同时识别原有产品和新产品。试验结果表明,该模型具有相较于现有增量学习方法更优异的对抗灾难性遗忘能力,增量后的结算准确率为64.90%,遗忘率为3.63%,优于现有最佳方法的4.38%。     

基于深度网络和视觉特性的无参考图像质量评价方法

图像质量评价是图像处理和计算机视觉领域的基础性问题,对于视觉信息的采集、处理和分析系统性能的评判具有重要的意义.现有的无参考型图像质量评价方法都是基于自然统计规律的,或者构建单一网络模型,并未考虑视觉感知特性,使得最终的评价结果与主观感受间存在较大差异.为此,本文提出一种结合多种网络特性和最差视觉感知特性的无参考型图像质量评价方法.首先,提取图像的去均值对比度归一化特征,将特征图进行重叠分块;然后,构建VGG与Inception相结合的深度网络,对图像块提取深度感知特征;最后,将分块图像的质量分数集合进行排序,利用视觉感知最差情况加权策略对序列进行加权求和,得到最终的图像质量分数.在国际公开的质量评价数据库CSIQ、LIVE和TID2013上的实验结果表明,本文方法取得了优于现有方法的主客观一致性性能.     

基于改进生成对抗网络的汉字字体生成算法

为解决现有字体模型不完善的笔画连接、不正确的拓扑结构、字形模糊等伪影问题,提出了一种基于改进条件生成对抗网络的汉字字体生成算法.本算法将字体生成任务视为图像转换问题,提出FontToFont和MSAFont两种自动字体生成方法.针对现有汉字字体生成模型存在的问题,提出了基于改进条件生成对抗网络的汉字字体生成算法FontToFont,通过引入U-Net网络结构,可以使生成器保存更详细的信息,并有利于模型性能.建立一种基于多种风格汉字字体的数据集,定性定量验证模型的性能.提出的这种基于改进条件生成对抗网络的汉字字体生成算法,能够从多风格汉字字体中的一部分字体生成高质量的一整套汉字字体.通过设计师的评价及模型消融实验,生成字体的视觉质量和完整度效果良好.     

结合人眼视觉综合感知差与r-g色域峰值偏差的彩色图像客观评价方法

针对图像色彩复原应用中对彩色图像质量评价的需求,在图像灰度直方图累计分布差的基础上,通过引入人眼视觉敏感度等修正因子,得到了直方图感知差的评价方法,并与图像的信息熵和平均梯度指标相结合,提出了基于综合感知差的评价方法以及将综合感知差与色域峰值偏差结合的无参考型彩色图像评价新方法.构建了不同光照条件下的标准彩色图像测试数据库,通过与传统的客观评价标准相比,新方法在图像亮度感知、色调信息和图像综合质量等方面均表现出与主观评价更高的一致性.     

基于改进生成对抗网络的多聚焦图像融合

针对多聚焦图像融合中权重分配和融合规则设计困难的问题,本文提出了一种基于改进生成对抗网络的多聚焦图像融合算法。首先,对生成器网络和判别器网络进行设计,为了避免图像在网络模型传递过程中造成的信息丢失,裁撤网络结构中的池化层,通过卷积层叠提取图像特征。其次,构建生成对抗网络的损失函数,优化网络参数,得到最佳的网络模型。最后,将实验结果与现有的几种融合算法相比较,通过5种客观评价指标来评价融合图像的效果。结果表明,本文提出的算法不仅在主观上有着良好的视觉效果,也在客观评价指标上有显著优势。     

基于多级表示网络的无参考立体图像质量评价

近年来,深度学习在无参考图像质量评价领域的应用获得了广泛的关注.然而,复杂的双目视觉机制和立体图像的多维特性使得立体图像的质量评估更具有挑战性.基于人类视觉皮层的交互作用,提出一个多级表示网络用于无参考立体图像质量评价.为了克服缺乏具有主观质量分数的大规模训练数据问题,将图像的主观平均意见分数分配给图像中的所有小图像块...     

基于结构相似度的图像融合客观评价指标

针对目前图像融合客观评价指标不能很好地解决客观评价与主观视觉感知相符和的问题,提出了基于结构相似度与直方图均衡化相结合的红外与可见光图像融合客观评价指标.实验结果表明,与现有的经典客观评价指标相比,本文提出的方法更能正确地反映视觉感知,可用于红外与可见光图像融合客观评价.     

基于生成对抗网络的气缸套表面缺陷图像生成

针对气缸套缺陷检测中缺陷样本不足限制气缸套缺陷检测性能提升问题,采用基于生成对抗网络的气缸套表面缺陷检测算法.首先,为了保持缺陷图像中原有缺陷位置与特征不变,通过循环生成对抗网络模型学习有缺陷气缸套图像与正常图像的关系;其次,利用学习得到的模型对有缺陷气缸套图像进行风格迁移,即把有缺陷气缸套图像背景替换成无缺陷气缸套图像背景,实现对气缸套缺陷数据集的扩充与增强;最后,通过基于数据增强的RetinaNet网络模型对生成图像的有效性进行验证.试验结果表明,通过生成对抗网络生成的气缸套数据集可以提升缺陷检测性能,进一步证明了生成对抗网络在工业应用的可行性.     

利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

基于生成对抗网络的V形焊缝图像修复算法

V形焊缝在激光视觉焊缝跟踪系统中,由于焊接过程中焊接工件附近的恶劣拍摄环境导致跟踪定位失效,为了减少图像修复网络训练过程中的模型偏移问题,提出了一种基于生成对抗网络(GAN)的图像修复算法.将神经网络与空间变换网络(STN)模块相结合,在图像合成修复过程中提高了原有焊接图像中特征信息的不变性,解决了模型在训练过程中的偏...     

基于多尺度密集特征融合的生成式对抗除雾网络

在真实雾天场景下,针对除雾网络无法去除远处雾气、天空区域容易出现噪声的问题,提出了一种基于多尺度密集特征融合的生成式对抗除雾网络,并采用制作的合成雾天数据集进行对抗训练.首先,对除雾网络进行设计,构建了网络模型;其次,从合成晴朗天气图像中利用深度标签生成逼真的雾天数据集,以适用于真实雾天除雾领域;最后,在真实雾天数据集上测试,选取近几年具有代表性的6种基于深度学习的除雾网络进行主观视觉效果,并借助除雾领域常用的无参考图像质量评价指标进行客观分析.研究结果表明:提出的除雾网络在真实场景下的除雾效果较其他网络有显著提升,主观视觉效果明显优于对比的除雾网络,在无参评价指标上综合表现优于其他除雾网络.     

基于亮度加权网络空间扩展的图像质量评价方法

采用CCIR颁布的亮度加权网络时域频率标准,基于电视学基本原理和数字图像处理方法,将亮度加权网络由时域频率扩展到空间频率,由此建立一个实验平台考察图像空间尺寸对视觉感受的影响.该方法实验结果与视觉感知的图像质量评价结果吻合,其有效性取决于时域亮度加权网络主观实验结果.由于避开了主观评价实验的标准化苛刻要求,因此降低了多通道分解图像质量度量方法的复杂度,有利于图像空间尺寸的质量评价.     

眨眼特征与颜色不对称立体图像视觉舒适度的相关性分析

提出了一种从眼动生理指标角度客观评价立体内容视觉舒适度的模型.选用颜色色调不对称的立体图像进行了视觉舒适度的主观评价实验,并开展了记录眨眼数据的眼球追踪实验,通过对主客实验数据的分析,验证了在色调不对称立体图像的刺激下视觉舒适度与眨眼次数呈高度负相关关系,而与平均眨眼持续时间没有明显的相关关系;得到了基于眨眼次数的立体图像视觉舒适度客观评价模型.分析模型可知：观看颜色色调不对称立体图像10 s内平均眨眼次数超过9.99次时,开始感觉到视觉不舒适.研究结果可为立体显示的视觉适度评价提供借鉴.     

基于注意力和最小可觉差的GAN生成图像质量评价

现有的客观图像质量评价方法用于GAN生成图像质量评价时，往往出现与人的主观评价不一致的情况.针对这个问题，提出了一种更符合人类视觉感知的GAN生成图像质量客观评价方法AJ-GIQA(attention and just noticeable difference based generated image quality assessment).首先，模拟人类视觉系统的失真敏感度特性，对GAN生成图像进行预处理，得到其最小可觉差图；然后，将注意力模块引入特征提取网络，模拟人类视觉系统的注意力机制，获取图像的显著性特征；最后，将图像特征输入结合语义信息的质量预测网络，基于图像内容综合评价GAN生成图像的质量.在GAN生成图像数据集上的实验结果表明，AJ-GIQA的评价结果与主观平均意见得分有更高的一致性；在图像质量排序一致性上的实验结果表明，AJ-GIQA的准确率在LGIQA-LSUN-cat数据集上达到了最优，和SFA方法相比性能提高了0.267;在泛化性能上的实验结果表明，与最先进的HyperIQA方法相比，AJ-GIQA在数据集PIPAL的Pearson线性相关系数提高了0.027...     

一种基于知觉模拟的全参考图像质量评价方法

为提高客观图像质量评价与主观图像质量评价的一致性,提出一种模拟人类感知图像质量过程中,由生理因素主导的前期过程和由心理因素主导的后期过程的IQA 方法. 人类感知图像信息的过程依赖于人脑的内部生成机制,它主动预测图像中易被感知的简单结构且忽略难以被感知的复杂结构. 此方法利用贝叶斯预测模型将输入图像分为易感知区域和难感知区域,对具有各异感知特征的两区域通过不同特征进行分别评估. 最后采用关于视觉显着性和亮度掩蔽的整体综合策略,对两组评估结果统一进行计算. 基于整体感知的综合策略和基于局部感知的保真度测量在此方法中互为补充.TID2008 等4 个通用评测数据库的实验结果,指出了该方法具有良好的预测精度和稳定性.     

Rhino建模软件在产品渐消曲面造型设计中应用研究

为了提高产品渐消曲面造型设计的效果,提出基于视觉表达和曲面融合的产品渐消曲面造型设计方法,基于Rhino建模软件进行产品渐消曲面造型设计的视觉传达设计,构建产品渐消曲面造型视觉表达模型,采用图像视觉成像方法进行产品渐消曲面造型设计过程中的图像融合和滤波处理,提取产品渐消曲面造型视觉图像的边缘轮廓特征量,采用模板分块匹配方法进行产品渐消曲面造型的分块模板匹配设计,建立产品渐消曲面造型视觉优化控制模型,结合分块融合匹配方法实现产品渐消曲面造型优化设计。在Rhino建模软件中进行产品渐消曲面造型设计的仿真实验,仿真结果表明,采用该方法进行产品渐消曲面造型设计的效果较好,视觉传达能力较强。     

局部和全局特征融合的色调映射图像质量评价

人类视觉系统首先粗略地感知全局区域,然后精细地感知局部区域的图像质量.针对色调映射图像的质量评价问题,考虑人眼视觉机制的特性,提出一种融合局部和全局特征的无参考图像质量评价算法.首先从全局特征出发,考虑了颜色矩、全局熵和欠曝光/过曝光条件下的明暗分布特性,得到相应的全局特征;然后结合局部对比度、局部熵和分块小波能量,得到相应的局部特征;最后,融合全局特征和局部特征,使用支持向量回归进行特征训练,建立图像特征空间与感观质量分数的关系,得到图像质量评价模型.在公开的ESPL-LIVE HDR数据库上验证,实验结果表明,提出的方法与主观评分有较高的一致性,并且性能优于目前较优秀的无参考图像质量评价算法.     

基于驾驶人视觉感知的低等级公路行车速度预测

低等级公路环境下的行车速度变化特征比较复杂,已有的基于几何线形指标的车速模型不足以全面地表述这种特征.通过大量实车实验发现,低等级公路环境下驾驶人所采用的行车速度和其视觉感知到道路条件之间存在很好的相关性.驾驶人感知的道路条件分为视觉车道信息和视觉路侧环境信息.采用Catmull-Rom样条曲线拟合的视觉车道模型能够反应驾驶人感知的低等级公路几何特征,根据视觉车道模型形状参数,使用遗传算法优化BP神经网络(GABP)建立了基于几何信息感知的几何车速模型.同时,基于路侧环境信息利用Logistic回归模型建立了路侧车速修正模型.将上述模型结合起来,形成了基于驾驶人视觉感知的低等级公路行车车速预测方法.由此方法计算的驾驶人行车速度与实测情况吻合性好,能够很好地描述驾驶人在低等级公路环境下通过对道路条件视觉认知而产生行车速度的行为特征,是低等级公路运行车速预测计算的一种有效方法,不仅可以作为道路安全评价的基础,也可以为基于行车速度的公路几何设计提供有力支持.