多生成器生成对抗网络

生成对抗网络(Generative adversarial networks,GAN)广泛应用于各种领域,尤其在图像生成方面.该模型由生成网络与判别网络2部分组成,在无监督的训练方式下,2个网络相互竞争相互提高.然而,GAN在训练时经常出现模式崩溃问题,进而导致模型收敛较慢,生成样本多样性较差.为解决这一问题,在深度卷积神经网络的基础上提出了一种多生成器生成对抗网络模型.该模型包含多个生成网络,每个生成网络均使用残差网络进行搭建,同时在生成网络间引入协作机制,以加快模型获取信息并减少参数量,最后将各生成网络的特征图进行融合得到最终图像输入到判别网络中.GAN在训练过程中还会出现梯度消失、训练不稳定问题.为避免出现这些问题,将Wasserstein距离和梯度惩罚引入模型的损失函数.通过在多个数据集上与多种相关方法进行实验比较,结果表明提出的模型在缓解模式崩溃问题、加快模型收敛速度以及减少参数量上均明显优于其他几种方法.     

一种用于肺结节恶性度分类的生成对抗网络

针对肺结节数据集中良恶性样本数比例失衡的问题,首次引入深度卷积生成对抗网络(deep convolutional generative adversarial networks,DCGAN)模型,该模型根据输入的肺结节图像,生成与输入图像具有相似纹理特征的肺结节并将生成图像用于训练DCGAN模型.此外,将图像来源分类问题改为图像来源分类和肺结节等级1~5分类问题,从而增强了DCGAN模型的抗噪能力和实现了DCGAN模型对肺结节的等级分类.实验表明,改进的DCGAN中G模型在生成图像时具有良好的抗噪能力且生成图像中大约有90.42%的图像判别为真实图像,D模型对肺结节图像的等级分类具有较好的判别能力且肺结节等级分类准确率为70.89%,肺结节良恶性分类准确率为80.13%.     

基于深度学习的纹理图像语义识别

传统的纹理图像识别方法主要对底层的视觉特征进行检测,从而导致对高层语义特征的识别能力不足.为了解决上述问题,提出一种基于深度学习的纹理图像语义特征识别方法.该方法首先把在ImageNet数据集上预先训练的模型作为骨干网络构建模型,然后对输入的纹理图像进行数据增强和预处理,并输入模型进行训练和验证,最后利用训练获得的最佳...     

一种新的红外纹理生成方法

为解决大规模背景场景纹理生成中的问题,结合纹理数据和物理模型,提出一种新的红外纹理生成方法.分析背景红外成像模型,通过建立背景温度模型、辐射模型、灰度映射模型,得到不同天气、任意时段的红外灰度值;利用可见光纹理图像,结合统计方法提取灰度空间分布,合成红外纹理.通过调节合成因子,可以生成具有红外辐射信息又不乏灰度空间变化信息的红外场景仿真图像.实验结果表明:该方法有效解决了实测数据获取困难,复杂建模耗时耗力、计算误差大的问题;生成的红外场景可视化效果大大提高,同时也能真实反映场景24 h温度变化规律.     

基于风格特征分布匹配的图像风格迁移

本研究针对现有方法在实现风格迁移任务时只能提取图像特征的低阶统计量这一问题,考虑将风格迁移过程建模为一个特征分布匹配过程,提出了一个基于Wasserstein距离的判别器网络并以此定义了一个风格损失函数,Wasserstein判别器能够更好地拟合特征分布之间的Wasserstein距离,定义的风格损失也能够更好地区分图像特征的高阶统计信息之间的差异。同时,为了达到实时生成的效果,引入一个基于编码器-解码器结构和一个基于注意力机制的风格迁移转换模块作为生成网络,该生成网络能够有效融合原始图像特征并生成。具体而言,通过在计算损失模块的卷积层(CNN)后面添加Wasserstein判别器来计算风格损失,然后将风格损失与传统方法中计算为均方误差的内容损失一起监督生成网络的训练,在网络训练结束后,可以输入任意图像进行风格迁移测试。最后,在基准MSCOCO和WikiArt数据集上训练网络并测试结果,定性实验和定量实验结果表明,与现有方法相比,所提出的方法可以实现实时风格迁移,并且生成高质量风格化效果。     

结合多尺度特征和多维注意力的人脸风格转换

针对StarGANv2模型生成的人脸图像存在风格重建效果不佳、人脸纹理不够自然等现象,该文提出结合多尺度特征和多维注意力的人脸风格转换模型.1)将多尺度特征融合模块PSConv嵌入StarGANv2生成器内,提高了模型对图像特征的提取能力;2)提出了多维注意力模块MDConv,并将该模块嵌入StarGANv2判别器内,从而提高了模型对真假人脸图像的判别能力.与StarGANv2方法在CelebA-HQ数据集上进行对比实验的结果表明：该方法生成的人脸图像风格更美观,纹理细节更自然,学习感知图像相似度(LPIPS)的值也得到了提升.     

一种基于纹理的云彩合成技术研究

通过对云彩图像纹理特征函数分析,选取16个特征函数作为云彩图像生成的依据,同时,通过对BP算法的研究,建立了有效的人工神经BP网络模型,最后形成了云彩纹理图像的合成程序。     

基于联合特征学习和多重迁移学习的肝脏病变分类

为了实现对不同肝脏肿瘤病变的精确分类,提出了一种基于联合特征学习和多重迁移学习的肝脏肿瘤病变分类方法.首先通过扩充通道的预处理方式对输入网络的图像进行数据增强处理,使得网络能从原始输入图像中提取到更多的特征信息;然后设计了联合特征学习双流卷积神经网络提取特征,避免由于网络深度增加造成部分特征信息丢失的问题;采用了集成分类器实现最终的分类,并通过多重损失约束方法对整个集成分类器进行约束优化;最后在模型的训练过程中结合参数迁移和域适应来减少损耗并提高模型的拟合性能.采用155张腹部平扫CT图像进行试验,设计了特异性、灵敏性、精确度、F1-score、准确率和误差率几种评价指标.结果表明,此方法能够实现对肝细胞癌(HCC)、转移性肝癌(MET)、血管瘤(HEM)以及正常肝脏组织的分类,平均分类准确率达到96％.     

基于隐层傅里叶卷积的非平稳纹理合成方法

随着深度学习在计算机视觉领域取得的巨大成功,基于示例的纹理合成研究得到了长足的发展.当下主流纹理合成模型往往采用神经网络方法,其通常包含卷积层和上采样层、下采样层等局部组件,并不适用于捕捉非平稳纹理中的不规则结构特征.受频率域与空间域的对偶性质的启发,提出了一种基于隐层傅里叶卷积的非平稳纹理合成方法.该方法以生成对抗网络为基础架构,沿着隐层通道进行特征拆分,搭建图像域局部分支和频率域全局分支,进而兼顾视觉感知和结构信息.实验表明,该方法能够处理结构上极具挑战的非平稳纹理样本,相较于目前最优方法而言,在大尺度结构的学习与扩展上取得了更好的效果.     

基于遥感图像的虚拟地形仿真建模方法

传统虚拟地形建模通常采用基于人工设计的过程化生成方法,无法满足军事仿真等需要对真实环境进行还原的仿真建模任务.针对此类任务,提出了一种基于遥感图像的虚拟地形仿真建模方法,其核心是地形混合纹理生成网络(landscape blended texture generation network, LBTG-Net).该方法利用地形混合纹理生成器(blended texture generator, BTG),在风格鉴别器(style discriminator, SD)以及多级分类损失的约束下生成地形混合纹理贴图,基于该混合纹理贴图生成结果对地形环境进行程序化构建.该方法包含2个核心特点:(1)对输入遥感图像进行准确的地表覆盖类型分类,以保证对输入遥感图像环境的还原;(2)生成高质量地形混合纹理贴图,以提高虚拟地形建模质量. LBTG-Net使用Sentinel-2多光谱遥感图像数据集进行训练和验证.实验结果表明,该方法在各地表覆盖类型分类评价指标下均有良好表现,能够在准确还原输入遥感图像的环境分布的同时完成高质量虚拟地形仿真建模.     

点模型上基于样图的纹理合成

[目的]目前已有的在三维点模型上的纹理合成方法,是将点模型进行三角面片化后再进行纹理合成操作,本研究的目的是避免三角面化的过程,得到一种直接在点模型上操作的、快速有效的纹理合成方法.[方法]首先,用KD树为三维点模型上的每一点建立领域,然后为每一点在样图中寻找最匹配的纹理值,最后通过基于点的绘制技术完成纹理合成.[结果]本研究方法能在三维点模型上生成连续光滑的纹理,且保持了原样图的纹理结构.[结论]本研究的纹理合成方法是有效的,并且和传统的三维纹理合成算法相比,本方法费时更少、更灵活可控.     

基于灰度纹理指纹的恶意代码分类

随着各种新技术的出现,传统的恶意代码的识别和分类技术存在着检测率瓶颈、实时监测效率不高的问题,为了提高准确率,提出了一种基于图像纹理指纹特征与深度学习神经网络结合的分类方法。该方法首先将数据集中恶意代码的二进制文件建模为灰度图,采用改进的灰度共生矩阵提取出恶意代码中的指纹特征图像,并选择不同步长扩展样本量,然后将该指纹特征图像作为输入数据集并采用卷积神经网络模型中进行分类训练。结果表明,该方法可以有效地分类恶意代码,准确率可达96.2%,并在泛化测试中取得了较好的效果。     

一种失真模糊图像的无参考质量评价方法

针对现有的无参考质量评价方法对失真模糊图像不能有效评价这一现象,提出了一种针对失真模糊图像的无参考质量评价方法。该方法将结构相似度(structural Similarity,SSIM)全参考质量评价方法应用到无参考质量评价中,不仅扩宽了SSIM方法的应用范围,也解决了SSIM方法不能合理评价模糊图像质量这一缺陷。首先对失真模糊图像进行低通滤波得到参考图像,计算失真图像与参考图像的结构相似度;然后提取图像的纹理特征,计算失真图像与参考图像的纹理相似度;最后将这两个相似度指标作为输入,LIVE图像数据库提供的主观评价值(different mean objective score,DMOS)作为输出,建立一个[29 1]单隐层BP(back propagation)神经网络预测模型。实验结果表明,方法的预测结果稳定且与人的主观评价分数偏差小,Pearson相关系数(correlation coefficient,CC)和Spearman等级相关系数(rank order correlation coefficient,ROCC)均达到了0.97以上。     

基于真实感三维头重建的人脸替换

传统的人脸替换技术需要输入的源图像中的人脸与待替换的目标图像中的人脸姿态相似,这限制了人脸替换技术的应用。该文提出一种基于特定三维头模型重建的人脸替换技术。首先,利用替换者的2张正交图像(1张正面图像和1张侧面图像)进行三维头重建。整个三维头重建过程分为人脸图像配准、特征点匹配、标准三维头形变和纹理贴图4个部分。形变部分利用了径向基函数对标准三维头进行形变以获得最终的特定三维头模型。通过建立替换者的真实感三维头模型,渲染出与任意目标图像姿态相一致的人脸图像。为了让渲染后的人脸图像与目标图像进行无缝纹理融合,还进行了色彩传递和基于多分辨率技术的边界融合。用此方法可将故事书中的任意角色替换成用户,以此提供个性化的图书。     

一种基于Gabor滤波器组和LBP的多特征联合SAR纹理图像分类方法

实现能够使先进飞行器根据获取的图像自动识别不同的地貌景物,是一种具有实际应用前景的技术需求.提出了联合Gabor滤波器组和局部二值模式来对SAR纹理图像进行分类的新方法SARICIT (SAR Image Classification using Inquiry Table).首先对第一套带类标的训练图像集提取两种特征,分别使用的基于非监督和监督模式相融合的混合神经网络分类器进行训练,然后使用第二套带类标的训练图像集制作二维分类信息查询表,记录两种分类器对每一幅图像的判断结果.在实际进行分类阶段,对新图像提取Gabor和LBP两种纹理特征,输入训练好的分类器.根据两种分类器给出的类型响应,结合查询表,使用一种投票的机制来确定待分类的图像的纹理属性.通过对真实SAR图像的实验结果表明,与流行的单独使用一种纹理特征进行分类相比,新方法能够对SAR图像纹理做到更准确的分类,对雷达图像更具有适用性.     

基于GAN的图像超分辨率重建算法研究

SRGAN是一种基于生成对抗网络的超分辨重建方法,其生成的高分辨率图像质量较传统方法有着明显提升,然而SRGAN存在着训练过程不稳定,图像浅层特征未充分使用等问题,很大程度上影响到了生成图像的质量。本文提出了一种特征增强改进的SRGAN模型,该模型使用信息蒸馏块进行特征纹理信息的增强,并消除图像特征中的冗余信息。此外,使用相对平均鉴别器替代原始SRGAN中的二分类鉴别器,保证了GAN网络训练的稳定性。本文基于4倍放大因子的超分辨重建任务,在BSD100数据集上进行实验结果的质化评价和量化评价。实验表明,本文方法较之SRGAN在训练过程中具有更好的稳定性,生成的图像具有更清晰的细节纹理,取得了更佳的图像超分辨率重建效果。     

皮料自动分类中纹理分析方法的研究

阐述如何采用图像纹理分析方法对皮件生产中的皮料进行纹理分析识别．在对已有纹理分析方法对比研究以及大量实验的基础上，采用相隔一定距离的水平扫描线上的图象灰度数据作为研究对象，利用从中提取出的特征值，可以对皮料按精细度和深刻度进行识别分类，取得了较高的分类精度，这使皮料纹理的计算机实时自动识别分类成为可能，也为计算机图象处理提供了一种有效的分析方法．     

基于概率图模型的图像纹理模型

 纹理作为一种视觉特征,它广泛应用于图像分析。概率图模型由于其自身特点可以很好地描述纹理。高斯图模型结构可根据局部马尔科夫性和高斯变量的条件回归之间的关系来学习。高斯图模型可用一个邻域系统、一个参数集和一个噪声序列表示。利用惩罚正则化方法,可以选择高斯图模型的邻域并估计参数,然后提取纹理特征进行纹理合成和分类。实验结果显示基于高斯图模型的纹理特征更加有效。     

基于图像条件的二元合成生成算法

生成对抗网络(GAN)是一种无监督学习方法,该算法巧妙地利用博弈的思想来学习生成式模型,但由于GAN通常从单个潜在源采样,因此常常丢失场景中的多个实体交互信息。为了捕获不同对象之间的复杂交互,包括它们的相对缩放,空间布局,遮挡,提出了一种基于图像条件的生成对抗网络,利用"分解—合成"的流程,模型可以根据输入对象的纹理和形状从它们的关节分布生成逼真的合成图像。通过使用Shapenet数据集,在2D和3D图像中分别对55个常见对象类别约51 300个图像模型进行试验,比起传统的SLP和cGAN,算法的图片质量有4%以上的提高。     

基于潜在特征重构和注意力机制的人脸图像修复

本研究针对现有图像修复方法不能有效地分离结构和纹理信息,修复结果往往会出现边界模糊、结构扭曲等伪影问题,提出了基于潜在特征重构和注意力机制的人脸图像修复方法。人脸图像修复方法分为两阶段,第一阶段,通过结构重建器网络提取样式向量,按照StyleGAN所述的原理分为粗尺度特征、中尺度特征和精细特征三组,插入到预先训练好的StyleGAN生成器中,产生初步的修复结果;第二阶段通过构建纹理生成网络并使用上下文注意力机制,注意力分数由注意力计算模块计算,注意力转移模块根据较高级别特征图和注意力分数来填充较低级别特征图中的对应缺失区域,以细化上一阶段初步的人脸修复结果。在CelebA-HQ数据集上的训练并进行测试,本文的方法在定量和定性分析两个方面均优于现有方法。因此,基于潜在特征重构和注意力机制的人脸图像修复方法能够有效地修复缺损人脸图像,大大减少了边界过度平滑和存在纹理伪影的问题。