高频特征与全局交互的人脸伪造检测

人脸伪造技术在娱乐大众的同时也对多媒体信息安全造成了很大威胁。针对现有的人脸伪造检测技术未考虑图像内容交互及压缩处理丢失伪造痕迹的问题，提出了一个基于高频特征与全局交互的深度人脸伪造检测方法。首先，利用缩放局部自注意力机制捕获像素之间的空间交互，实现全局交互。其次，利用高通滤波器放大高频微妙伪影，提高对压缩伪造内容的检测准确度。最后，结合空间域与频域信息，最大程度地捕捉图像上下文信息，有效提高模型的泛化性。在FaceForensics++和Celeb-DF数据集的实验结果表明，所提出方法比之前的方法具有更好的检测效果和泛化性能。     

多层次细粒度特征三分支网络行人重识别方法

针对行人重识别中信息丢失导致判别性信息缺失的问题,提出了一种多层次细粒度特征三分支网络行人重识别方法。首先,在ResNet50网络上构建中层全局特征分支、多层次全局特征分支和局部特征分支,全局分支提供更加全面的特征表示,局部特征分支提供细粒度的特征表示;其次,在三分支网络上改进了损失函数,使用权重向量和特征向量归一化以消除向量模的影响,通过构建难样本三元组损失以解决类间相似、类内差异分类问题;最后,在Market-1501和DukeMTMC-reid两个数据集上进行实验,rank-1达到了94.0%和87.4%,mAP达到了85.7%和75.5%.和现有的八种方法进行对比实验,结果表明本文方法在行人重识别中具有更好的准确率和精度。     

深度人脸伪造与检测技术综述

由于现有深度人脸伪造软件通常是开源的或者被封装为APP免费分发，导致了虚假视频的泛滥。因此开展针对深度人脸伪造检测技术的研究就显得尤为重要。目前，深度人脸伪造及检测技术正处在快速发展时期，各种相应的算法也在不断更新迭代。本文首先介绍了深度人脸伪造和其检测技术的代表性算法并给出简要分析，其中深度人脸伪造技术包括身份替换、面部重演、属性编辑、人脸生成等，检测技术包括图像级伪造检测技术和视频级伪造检测技术。然后归纳总结了常用的深度人脸伪造与检测数据集及不同算法的评估结果，最后讨论了伪造技术及其检测技术目前面临的主要问题及发展方向。     

基于多层次深度学习网络的行人重识别

提出了多层级特征融合模型,该模型利用深度学习网络提取行人图像的全局特征和局部特征,并将全局和局部特征联合起来,以生成更具辨识度的描述符.在模型中,基于部分的多层级网络用于提取不同网络深度的局部特征,从而将网络底层到高层中提取的局部特征组合起来.全局—局部网络分支则提取网络深层的局部特征和全局特征,用于识别行人.该模型在三个数据集上进行了实验并得到了更好的结果.     

UConvTrans:全局和局部信息交互的双分支心脏图像分割

心脏核磁共振成像(MRI)具有噪声多、背景和目标区域相似度高、右心室形状不固定、呈月牙形或扁圆形等特点，虽然基于卷积神经网络的U型结构在医学图像分割中表现出色，但由于卷积本身的局部运算特性，提取全局信息特征能力有限，所以很难提升在心脏MRI上的分割精度.针对上述问题，提出一种全局和局部信息交互的双分支网络模型(UConvTrans).首先，利用卷积分支和Transformer分支提取局部特征和建模全局上下文信息，能够保留细节信息并抑制心脏MRI中噪声和背景区域的干扰.其次，设计了融合卷积网络和Transformer结构的模块，该模块将二者提取的特征交互融合，增强了模型表达能力，改善了右心室的分割精度，而且避免了Transformer结构在大规模数据集上预训练，可以灵活调节网络结构.此外，UConvTrans能有效地平衡精度和效率，在MICCAI 2017 ACDC数据集上进行验证，该模型在模型参数量、计算量仅为U-Net的10%、8%的情况下，平均Dice系数比U-Net提高了1.13%.最终，在其官方测试集上实现了右心室92.42%、心肌91.64%、左心室95.06%的Dice系数...     

基于Transformer增强卷积的膝关节磁共振影像年龄预测

年龄预测是临床医学中的一个重要课题和非常活跃的研究领域.最近，由于传统影像学检查中电离辐射的缺点，越来越多的研究使用磁共振影像进行年龄预测.本文基于膝关节MRI数据集，提出了一种新的端到端网络，结合卷积神经网络和Masked-Transformer网络互补地来提取局部特征和全局依赖，并使用一个特征聚合模块来聚合不同局部膝关节MRI切片的特征.通过整合卷积神经网络的特征图和视觉Transformer分支的特征编码，特征提取模块可以互补地提取局部和全局信息，更好地提取与年龄相关的特征.同时，该网络使用由图注意力网络组成的特征聚合模块，用于在特征级别集成不同MRI切片的局部特征，实现多切片局部特征之间的交互.大量实验表明，该方法可以在膝关节MRI年龄估计任务中达到最先进的性能.具体而言，本文方法在MRI数据集上进行了测试，该测试集包括44个年龄在12.0～25.9岁之间的膝关节MRI样本，其中五折交叉验证的最佳结果是年龄平均绝对误差为1.57±1.34岁.     

基于Transformer改进的两分支行人重识别算法

针对基于卷积神经网络的行人重识别算法全局信息建模不足的问题，分析了卷积操作的局限性，提出一种基于Transformer改进的全局-局部两分支行人重识别算法.首先利用相对位置编码改进多头自注意力机制，并将其嵌入到Resnet50骨干网络中.之后在全局分支中对图像进行空间几何划分并利用Transformer的全局感受野增强抽象特征的提取能力；在局部分支中对Layer＿3输出进行降维监督，利用多尺度池化获得更丰富的局部特征.实验结果表明，该算法在公开数据集Market-1501和DukeMTMC-reID上的mAP/Rank-1分别达到了93.45%/95.61%和88.79%/90.35%,相对于单纯基于卷积神经网络的算法，本文算法达到更高的精度.     

融合几何特征与全局关系的室内点云语义分割

为充分提取3D点云的深层特征以提高复杂室内点云场景的语义分割精度，提出一种结合局部特征和全局特征的室内点云语义分割网络GSFNet.在局部特征部分，加入几何特征信息，并设计几何与语义特征信息编码模块，以更好地捕获室内点云局部信息.对全局特征部分，在编码解码器结构中间层加入全局关系依赖模块，构建不同邻域对象之间的关系提取有效分割信息.使用斯坦福大规模室内数据集(S3DIS)进行实验验证，在测试数据集上测试的总体精度(OA)和平均交并比(mIoU)分别为87.2%和61.1%,实验结果表明，GSFNet对复杂室内环境有较好的语义分割效果.     

深度残差网络和LSTM结合的图像序列表情识别

为了改善图像表情和图像序列表情识别效果,针对传统表情识别特征提取复杂和效果不理想问题,提出了一种深度残差网络和局部二值模式(local binary patterns,LBP)相结合的特征提取方法,利用深度残差网络提取数据集的空域特征,长短期记忆网络(long short-term memory,LSTM)处理时域特征,实现空域与时域特征的结合。研究了不同层数的残差网络、不同形式的LBP算子以及其他网络结构对人脸表情识别的影响,对比了支持向量机和随机森林实现的序列表情识别算法。在Cohn-Kanade数据集和AFEW6.0数据集上进行了验证,实验结果表明,算法在验证集上的准确率分别为73.1%和58.4%,相比其他算法有一定程度的提升。     

从局部到全局的零参考低照度图像增强方法

为解决现有的低照度图像增强方法存在的色彩失真、细节损失以及暗区增强不足和亮区增强过度导致低照度图像增强效果不理想的问题,提出了一种从局部到全局的零参考低照度图像增强方法。采用局部照度增强对低照度图像进行像素级增强,改进了自适应光照映射估计函数,提升了照度调整能力,避免了生成大量的迭代参数,提高了模型的推理速度;采用基于Transformer结构的全局图像调整对局部增强后的图像进行全局调整,解决了亮区照度增强过度的曝光问题和暗区照度增强不足的问题,提升了图像的整体对比度;优化损失函数,对低照度图像特征和增强图像特征进行相似性约束,提升了目标检测精度。实验结果表明,LOL数据集上的客观指标峰值信噪比和结构相似性达到了20.18 dB和0.80,MIT-Adobe FiveK数据集上达到了23.31 dB和0.87,ExDark数据集上增强后图像的目标检测精度提高了7.6%,有效提升了低照度图像可视化质量和目标检测效果。     

基于关系挖掘的跨模态行人重识别

基于文本的行人重识别模型通常依赖于全局特征对齐和局部特征对齐,但模态间和模态内的相关信息常被忽略。提出了一种基于关系挖掘的跨模态行人重识别方法,该方法包括双流主干网络、负相似度挖掘模块、关系编码器。首先,通过双流主干网络实现了全局和局部特征对齐;其次,通过负相似度挖掘模块提升了图像-文本对特征辨别的细粒度;最后,通过关系编码器模块分别学习图像和文本中隐含的关系信息,实现关系级别的特征对齐。在CUHK-PEDES数据集和ICFG-PEDES数据集上的实验结果证明,文中方法能够达到较高的识别精度。     

基于CNN-Transformer双流网络的伪脸检测

生成对抗网络(generative adversarial networks, GANs)技术正逐步成为合成图像的主流方法,合成的人脸图像对社会稳定和国家安全具有潜在的风险隐患,因此识别GAN生成的人脸已成为一个重要问题。为解决卷积神经网络(convolutional neural networks, CNN)在训练过程中无法获取图像全局表示的问题,提出了一种CNN-Transformer双流网络检测框架,在最大限度提取局部特征的同时,进一步保留图像的全局信息。首先,在CNN分支流中引入空间注意力和通道注意力,关注图像关键信息并提取局部特征;其次,利用Transformer分支流提取图像的全局信息;最后,中间利用桥接双分支的MixBlock交互模块分别将两者提取的局部特征和全局信息融合在一起。实验结果表明：与现有两种方法相比,本文所提方法在公共伪脸数据集上的分类检测精度分别提升了5.42%和1.95%,并且在后处理的图像上表现出一定的鲁棒性。     

基于全局和局部信息融合的显著性检测

为提高低对比度、复杂自然图像显著性检测的准确率和泛化性能,提出一种贝叶斯框架下的全局和局部信息融合的显著性检测模型.首先,构建深度卷积自编码网络,采用对称编解码结构,监督学习图像全局特征,得到全局显著图;然后,根据全局显著图产生前景和背景码本,利用局部约束线性编码算法进行编码,采用稀疏编码描述局部特征,产生局部显著图;最后,提出采用贝叶斯框架,将全局和局部信息融合,生成最终显著图.实验结果表明,所提模型在ECSSD,DUT-OMRON和PASCAL数据集上F-measure值分别为76.53%、59.45%和72.52%,MAE值分别为0.143 28、0.137 87和0.181 05,且能够有效对低对比度、复杂真实自然图像进行显著性检测.     

改进YOLOv3的桥梁表观病害检测识别

针对基于目标检测方法的桥梁表观病害检测存在检测精度低、误检率和漏检率高的问题,提出一种改进YOLOv3的高准确率桥梁表观病害检测识别方法。为实现局部特征和全局特征有效融合,在YOLOv3的检测层中添加固定分块大小的池化模块,并在YOLOv3的特征提取网络中引入了DenseNet密集型连接网络结构以增强桥梁病害特征在网络中的传播和利用效率,提高检测效率,采用数据增强技术来扩充样本图像以解决现有桥梁病害数据集样本数量不足的问题。实验结果表明,改进后的YOLOv3在桥梁表观病害检测上的平均准确率比原YOLOv3提高了3.0%,且模型训练时间减少了33.2%,同时降低了对桥梁表观病害检测的误检率和漏检率。     

面向印花图案检索的特征融合方法研究

伴随着纺织品CAD技术的发展,印花图案数量快速增长.快速准确地在企业图库中查找到相似印花图案,对于帮助纺织企业极大程度降低成本,提升生产效率,具有重要意义.本文针对印花图案检索问题,以ResNet为主干网络构建了一个基于特征融合的印花图案检索模型PGLN(Pattern Global and Local feature Network).在该模型中,将全局特征和局部特征进行融合,全局特征使用深度网络的池化特征图,高效地整合输入图像的显著特征;局部特征分支借由注意力机制,使用交互特征层来检测图像的显著性区域.为了验证PGLN模型的有效性,本文在自主构建的印花图案数据集(Pattern)上对PGLN模型的检索效果进行了测试.实验表明,与局部特征提取算法、全局特征提取算法以及融合特征算法相比,PGLN模型在Pattern数据集检索任务上均取得了最优的表现.     

一种融合全局时空特征的CNNs动作识别方法

针对基于卷积神经网络(CNNs)的人体动作识别方法通常采用空域或时域局部特征的不足,提出一种融合人体动作全局时域和空间特征的双通道CNNs动作识别模型.空间通道对动作图像进行深度学习,采用多帧融合的方式提升准确率,全局时域通道对能量运动历史图(EMHI)进行深度学习,最后融合两个通道信息识别人体动作.利用现有的大型数据集进行预训练,以解决学习过程中训练样本不足问题.在UCF101数据集和该项目小样本数据集上进行实验,结果证明了该方法的有效性.     

基于属性擦除与多分支网络的行人重识别

行人重识别易受到物体不同程度遮挡的影响.针对物体遮挡以及网络特征提取能力不强的问题,提出一种基于属性擦除与多分支网络的行人重识别的方法.该方法利用行人的包属性标签随机擦除进行数据增广.网络结构由ResNet-50基础网络与全局、局部卷积两个分支结构组成.全局卷积分支提供全局特征,局部卷积分支提供丰富的细粒度信息,通过两个分支的特征级联提升网络的特征提取能力.在Market-1501、DuckMTMC-reID数据集上,证明论文方法具有较好的效果.     

基于局部-全局双分支网络的密集人群计数方法

基于卷积神经网络的人群计数方法促使人群计数精度取得了显著提高. 然而,密集人群中的人头尺度变化与复杂环境干扰仍是影响网络计数精度的主要因素. 本文提出了一种基于局部-全局双分支网络对密集人群计数. 局部分支主要由尺度感知特征提取模块实现,以建模密集人群中人头的尺度变化. 全局分支主要由位置感知注意力模块实现,以增强网络对人群与背景之间的判别力. 提取到的局部特征与全局特征会送入特征融合分支处理,回归人群密度图. 本文方法在3个常用的人群计数数据集与一个遥感目标计数数据集上进行了实验. 定量与定性结果表明了本文方法的有效性.      

局部特征与全局信息联合的自适应图像增强算法

针对传统基于修正直方图的图像增强算法不能兼顾局部特征和全局信息的问题,提出一种局部特征与全局信息联合的自适应图像增强算法. 该算法将增强分为局部增强和全局增强两部分,局部增强利用像素的邻域信息和局部与全局对比度的比例信息作为幂次变换的伽马值,对图像进行伽马校正,提高图像的亮度和局部对比度;全局增强利用区域相似直方图统计抑制噪声,避免过度增强. 实验结果表明,本文算法在客观性能上优于其它传统图像增强算法,并且可以有效提高复杂光照下人脸图像的检测率.      

融合边缘检测的 3D 点云语义分割方法研究

针对点云分割中分割目标不明确,边缘不清晰,全局特征与边缘特征未能有效融合等问题,提出 了一种融合边缘检测的 3D 点云语义分割算法。 首先,通过 3D 点云语义分割网络对点云数据进行初步提取 区域内的全局语义特征;然后,采用引入了注意力机制的语义边缘检测网络,能够更好地对点云数据中的物 体进行特征提取增强,抑制非边缘信息的产生,得到了具有丰富的语义信息的边缘特征;最后,通过融合模块 将属于同一物体的语义特征融合起来进行分割细化处理,使得分割目标更精确;此外,使用了双重语义损失 函数,使网络产生具有更好边界的语义分割结果。 通过搭建实验平台和使用 S3DIS 标准数据集进行测试,改 进后的算法在数据集上的平均交互比为 70. 21%,在精度上较 KPConv 语义分割算法有所提高。 实验结果表 明:该算法能够有效改善物体边界分割不清晰、边缘信息模糊等问题,总体分割性能良好。