融合多尺度特征与多分支预测的多操作检测网络

面对不断进步的图像编辑技术，发展相应的图像取证技术显得尤为重要.针对现有图像篡改检测技术中存在的可检测操作类型单一、鲁棒性不强、篡改区域定位不足等问题，提出一种基于卷积神经网络的多操作图像篡改检测方案.在该网络中，通过构造基于残差块的卷积流以提取操作特征.然后，设计一个多尺度特征融合模块，实现不同尺寸的操作特征融合.最后，将融合后的操作特征输入多分支预测模块进行篡改类型预测与定位，得到多操作检测结果.本文制作了多操作图像篡改数据集，对提出的网络模型进行训练和测试.实验结果表明，本文方案与主流的目标检测网络相比，能够更准确地对篡改区域进行定位，参数量更少，且对常见的图像后处理具有更好的鲁棒性.     

基于双重自注意力机制的人脸图像修复

人脸图像修复旨在修复输入人脸图像中的缺失区域,生成令人满意的高质量修复结果.然而当存在大面积缺失时,直接修复缺失人脸图像十分困难,此时修复网络的全局上下文信息感知能力是影响修复结果的关键.鉴于此,本文提出了软硬注意力相结合的双重自注意力模块.该模块通过全局相似度计算来获得软硬两种注意力特征,之后对两种注意力特征进行自适应融合,进而提高修复网络对全局上下文信息的感知能力.此外,本文进一步提出了多尺度生成对抗网络以加强对修复结果的监督,促使修复网络生成更高质量的修复结果.实验结果表明,本文方法在定量和定性评测上均优于五种先进的对比方法.     

融合多尺度注意力和双向LSTM的行人重识别

将深度学习应用于行人重识别领域,嵌入多尺度注意力融合模块至神经网络中进行多尺度特征提取和表示,可有效提升注意力机制对深度学习网络的识别性能。提出了一种基于SE block的多尺度通道注意力融合模块,并结合ResNet50卷积神经网络提取特征;然后通过双向LSTM网络进一步提取特征序列上下文信息,在提高模型对图像重要特征的提取能力的同时,降低对图像冗余特征的关注度;最后使用级联难采样三元组损失函数和交叉熵损失函数共同训练网络模型,使样本能够在高维特征空间中实现聚类,进一步提升模型识别准确性。所提出算法在Market1501数据集和CUHK03数据集分别进行实验,并在同等条件下和其他注意力模块算法进行比较。为进一步验证各模块作用,对算法进行消融实验,以验证各模块的有效性,实验结果表明,所提出方法可有效应用于行人重识别     

基于注意力和反馈机制的HDR视频重建

对基于深度学习的高动态范围(high dynamic range,HDR)重建进行研究,提出一种基于注意力和反馈机制的HDR重建方法.首先,将时间上连续、循环曝光的3张图像作为网络的输入,通过引入注意力模块生成注意力图像,对获取的特征进行自适应的加权,以优化网络的特征提取和减少鬼影现象的出现;然后,将反馈机制引入到网络中,进一步提高特征信息的利用率,优化网络在特征融合和重建方面的性能;最后,在L1损失函数的基础上,考虑色彩相似度损失函数和VGG (Visual Geometry Group)损失函数以增强重建后HDR图像的色彩表现及高频细节.实验结果表明,本方法不仅可获得更好的主观和客观重建质量,而且优于目前存在的主流算法.     

基于残差变换器的并行傅里叶卷积修复算法

为解决现有图像修复算法因缺乏上下文信息和有效的感受野导致修复大面积随机破损时效果差且只能修复低分辨率图像的缺陷,提出了基于残差变换器的并行傅里叶卷积修复算法.首先,提出基于变换器的改进残差网络模块提取待修复图像的纹理特征;然后,设计并行快速傅里叶卷积模块增强损失图像的高度有效感受野捕捉结构信息;最后,提出门控双特征融合模块交换和结合图像的结构与纹理分量,融合上下文特征,改善生成纹理的细粒度.在两个公开数据集上进行定性和定量实验,实验结果表明：所提算法可有效修复结构复杂且纹理精细的随机不规则大面积破损区域,生成结构合理、纹理细腻和语义丰富的高保真图像,并能用于高分辨率图像的目标移除.     

用于全色锐化的相对平均生成对抗网络

为解决全色锐化过程中对原图像特征提取不足导致融合结果细节信息易丢失，以及图像融合过程中因忽略不同区域的空间特征差异而导致信息冗余等问题，采用深度学习算法，提出一种用于全色锐化的相对平均生成对抗网络(Pan-RaGAN)。在生成器中利用改进的密集块结构对原图像进行特征提取，充分利用原图像各级特征，获取包含了更多细节信息的融合结果；提出基于空间注意力机制的特征细化模块，用于特征选择，可在保留有效高频信息的同时剔除冗余信息；利用图像重建模块将细化后的特征与上采样的低分辨率多光谱图像进行融合，以保持光谱信息；利用相对平均鉴别器改进网络的损失函数，进一步优化融合效果。在高分2号卫星和快鸟卫星图像数据集上的实验结果表明，与已有用于遥感图像全色锐化的生成对抗网络相比，Pan-RaGAN网络的光谱角映射指标平均降低了0.075,验证了Pan-RaGAN网络的有效性。     

篡改图像边缘模糊操作的被动取证算法

针对图像篡改中常见的边缘模糊操作的鉴别取证,提出一种新的取证算法.该算法首先利用模糊数学对篡改过的人工模糊边缘进行图像模糊增强,得到人工模糊操作边缘被增强而其它部分被减弱的图像;然后对原篡改图像进行分块,利用粗糙集理论获得约减属性和约减规则对子图像块进行分类,排除平坦区域和自然清晰强边缘图像块后得到另外一个图像;最后将...     

基于ASIFT和圆投影特征的图像被动取证

文中针对图像篡改中最常见的复制粘贴篡改被动取证问题展开图像分析研究,提出了一种基于仿射尺度不变特征变换(ASIFT)和圆投影特征的算法,用于检测图像中是否存在复制粘贴篡改.实验结果表明:基于仿射尺度不变特征的算法对具有明显角点特征的篡改图像的取证效果较好,而基于改进圆投影特征的算法对不具备明显角点特征的篡改图像(如随机性纹理、平坦区域)的取证效果较好,因此联合使用基于这两种特征的算法对常见的复制粘贴型图像篡改进行被动取证能达到较好效果.     

基于级联注意力与密集特征融合的图像修复算法

针对图像修复算法存在的语义不连贯、纹理不清晰等问题，提出一种基于生成对抗网络的新型级联密集生成网络CDGAN(Cascade Densely Generative Adversarial Network),采用encoder-decoder作为生成器主干，利用下采样提取图像特征；为使网络关注修复图像的高频纹理和颜色保真度等有效信息，引入级联的注意力模块，并加入密集特征融合模块扩大网络的整体感受野，充分学习图像特征，提高编码器提取特征的利用率，最后将处理后的图像特征进行上采样重建。在Celeb A和Places2数据集的测试结果表明，CDGAN在语义连贯性、纹理清晰度等方面都有所提升。     

基于注意力双分支网络的跨模态足迹检索

为了提高跨模态足迹检索精度,提出一种基于注意力双分支深度卷积神经网络的检索方法.该方法以赤足足迹的光学和压力2个模态图像为研究对象,采集并构建了一个包含138人5520幅足迹图像的跨模态检索数据集;在网络的特征提取模块采用ResNet50作为基础网络搭建双分支结构,并引入空间注意力机制,以提取各模态具有辨别性的特征;在网络的特征嵌入模块,通过部分参数共享学习跨模态共享空间;在双约束损失模块采用交叉熵损失(ID loss)和异质中心损失(HC loss)以增大跨模态足迹特征的类间差异,减小类内差异.实验结果表明:互检索模式下的平均精度均值(mAP)均值和Rank1均值分别为70.83％和87.50％,优于其他一些跨模态检索方法.采用注意力双分支网络模型能够有效进行跨模态足迹检索,可以为现场足迹对比鉴定等应用提供理论基础.     

数字图像区域复制篡改的盲取证技术研究进展

由于盲取证技术不需要任何预先嵌入的认证信息,而仅根据图像本身的统计特性就能鉴别数字图像的原始性、真实性和完整性,已经成为数字媒体安全领域的研究热点.文中介绍了数字图像中常见的区域复制篡改方式,分析实际篡改过程中可能涉及到的图像处理操作,总结归纳了区域复制篡改盲取证方法的一般流程.最后,指出现有目前方法存在的问题,并对盲取证技术未来的研究方向进行展望.     

多尺度残差注意网络的真实图像复原方法

为了提高基于深度学习网络方法在真实图像上的复原效果,提出了一种基于多尺度残差注意网络的复原方法。将退化图像输入到该模型中,利用浅层特征网络提取原始低质量图像的浅层特征;利用残差注意网络模块提取深层特征信息和通道相关性,使用局部连接和短跳跃连接进行残差学习;将浅层特征、通道相关性以及上下文深层特征信息输入到重构网络,利用具有不同感受野的特征进行图像复原。实验结果表明,相较于其他对比方法,该方法在图像去噪、图像增强和超分辨率等多个任务中获得最优的结果,能够在不引入伪影的情况下生成纹理细节丰富的清晰图像。     

基于二阶有效通道注意力网络的无约束人脸表情识别

现有基于卷积神经网络的无约束人脸表情识别方法侧重于网络结构的设计，对网络学习到的通道间深层特征相关性的研究较少，没有充分利用神经网络提取表达力较强的特征。为解决此问题，设计了一种基于二阶有效通道注意力网络（second-order efficient channel attention network，SECA-Net）的无约束人脸表情识别方法。该方法采用轻量级的网络提取表情图像的深层特征，使用二阶有效通道注意力模块统计深层特征的二阶信息并捕捉跨通道特征间的依赖关系来自适应地缩放通道特征，进而获得更具判别力的表情特征。SECA-Net利用Softmax损失和中心损失联合优化模型进行表情分类，该模块具有较少的参数量、较低的显存需求和计算量，并且没有使用额外的数据预训练模型。同时，所提出的模块还能提取到人脸表情微小变化的局部特征。在RAF-DB和FER-2013无约束人脸表情数据集上的实验结果表明，提出的方法是有效的。     

基于核判别分析与证据理论的图像伪作分层融合检测

现有图像伪作融合检测算法一般直接采用特征融合或决策融合技术,普遍存在算法不易扩展或检测准确率不理想等问题。在综合利用原始图像固有特征和篡改所引入特征的基础上,探讨了一种基于特征融合和决策融合的分层融合框架,并实现基于核判别分析(kernel discriminant analysis,KDA)和证据理论的图像伪作检测算法。该算法包含粗分类和细分类两阶段。在粗分类中,利用原始图像固有特征,采用KDA技术实现特征融合,输出结果为原始图像、篡改图像和待定图像三种类别。在细分类中,利用篡改操作所引入的特征,采用证据理论进行决策融合,实现对待定图像的进一步分类。实验结果表明,该算法能有效地检测模糊操作、重采样操作、JPEG压缩以及多种篡改组合操作。     

基于风格特征分布匹配的图像风格迁移

本研究针对现有方法在实现风格迁移任务时只能提取图像特征的低阶统计量这一问题,考虑将风格迁移过 程建模为一个特征分布匹配过程,提出了一个基于 Wasserstein 距离的判别器网络并以此定义了一个风格损失函 数,Wasserstein 判别器能够更好地拟合特征分布之间的 Wasserstein 距离,定义的风格损失也能够更好地区分图像 特征的高阶统计信息之间的差异。 同时,为了达到实时生成的效果,引入一个基于编码器-解码器结构和一个基于 注意力机制的风格迁移转换模块作为生成网络,该生成网络能够有效融合原始图像特征并生成。 具体而言,通过 在计算损失模块的卷积层(CNN)后面添加 Wasserstein 判别器来计算风格损失,然后将风格损失与传统方法中计 算为均方误差的内容损失一起监督生成网络的训练,在网络训练结束后,可以输入任意图像进行风格迁移测试。 最后,在基准 MSCOCO 和 WikiArt 数据集上训练网络并测试结果,定性实验和定量实验结果表明,与现有方法相 比,所提出的方法可以实现实时风格迁移,并且生成高质量风格化效果。     

基于双树复数小波四元数卷积网络的Copy-move盲取证算法

随着图像编辑软件的普及与完善,使得人们通过Copy-move操作便可伪造图像,而现有的Copy-move盲取证算法很难提取到彩色图像的一致性特征,且结果依赖于手动调节参数,难以定位到准确的篡改区域.为此,利用四元数卷积网络提取彩色图像空间一致性信息和双树复数小波提取图像局部信息的优势,提出了一种基于双树复数小波四元数卷积网络的Copy-move盲取证算法.首先,将图像表示为四元数并输入到四元数卷积网络中,提取彩色图像的颜色一致性特征,并将双树复数小波变换的高频子带与卷积网络的特征图联合学习图像的局部特征.其次,计算特征向量之间的相似性分数.然后,利用卷积网络提取较高分数的特征,定位相似区域,在一定程度上解决了匹配时手动调节参数的问题;并构建了一个仅定位粘贴区域的辅助分支来区分相似区域.最后,融合了相似和粘贴区域得到能够区分复制和粘贴位置的结果.在CoMoFoD和CASIA CMFD数据集上的主客观实验表明,该算法提升了Copy-move盲取证的定位性能.     

基于文本语义指导的自然场景文本图像超分辨方法

在自然场景文本图像超分辨中，针对先验信息利用不准确、不充分以及文本边缘恢复不完整的问题，提出了一种基于文本语义指导的自然场景文本图像超分辨方法。该网络结构由超分辨重建模块和文本语义感知模块组成。为进一步提高超分辨网络的表达能力，提出使用循环十字交叉注意力，捕获全局上下文信息，使得模型在训练的过程中更加关注文本区域，同时，提出软边缘损失、梯度损失对重建过程进行约束，生成具有锐利边缘的超分辨结果。采用公开的自然场景文本图像超分辨数据集TextZoom对提出模型的性能进行验证，与8种主流深度网络模型进行了对比,结果表明：该模型在3个不同识别器下的平均识别率相比TSRN分别提升了2.06%、1.80%和2.89%，在PSNR和SSIM指标上也具有一定的优势。     

基于潜在特征重构和注意力机制的人脸图像修复

本研究针对现有图像修复方法不能有效地分离结构和纹理信息,修复结果往往会出现边界模糊、结构扭曲 等伪影问题,提出了基于潜在特征重构和注意力机制的人脸图像修复方法。 人脸图像修复方法分为两阶段,第一 阶段,通过结构重建器网络提取样式向量,按照 StyleGAN 所述的原理分为粗尺度特征、中尺度特征和精细特征三 组,插入到预先训练好的 StyleGAN 生成器中,产生初步的修复结果;第二阶段通过构建纹理生成网络并使用上下 文注意力机制,注意力分数由注意力计算模块计算,注意力转移模块根据较高级别特征图和注意力分数来填充较 低级别特征图中的对应缺失区域,以细化上一阶段初步的人脸修复结果。 在 CelebA-HQ 数据集上的训练并进行 测试,本文的方法在定量和定性分析两个方面均优于现有方法。 因此,基于潜在特征重构和注意力机制的人脸图 像修复方法能够有效地修复缺损人脸图像,大大减少了边界过度平滑和存在纹理伪影的问题。     

基于递归特征估计的图像修复算法

针对现有图像修复方法纹理不清晰和结构错乱等问题,本文提出基于递归特征估计的图像修复模型,此模型基于部分卷积和注意力机制且不需要额外的标签。整体框架分为两个部分,粗修复模块和精修复模块,前者初步修复前景,后者利用递归特征估计递进式地修复缺失区域的边界,不断缩小空洞的面积,这种方式不断加强对缺失区域中央的约束,使得修复结果更加精细。实验表明,与其他经典的方法相比,此结构提高了图像修复的性能,其定性和定量分析均表现最优。     

轻量化YOLOv4的安全帽佩戴检测方法

为了平衡深度学习网络在网络深度、模型效果和易用性之间的关系,针对安全帽佩戴检测,提出一种基于轻量化模块的改进YOLOv4网络。在主干网络中,采用深度可分卷积和压缩激励机制所组成的模块替换残差块,在不进行内部堆叠的情况下,减少网络的深度和参数量;在聚合网络中,采用反向注意力机制模块增加目标物体的显著信息,使网络获取的特征包含更丰富的细节信息。在公开的安全帽佩戴图像数据集上进行的实验表明,提出方法的模型大小为106.4 M,相比原网络减少了149.9 M,网络检测的平均精确度均值比原网络有所提升,验证了轻量化目标检测方法及其在安全帽检测应用中的有效性。