基于退化模型和邻域嵌套的彩色图像超分辨率自适应重建

为有效提升图像质量,提出一种基于图像退化模型和邻域嵌套的彩色图像超分辨率重建算法.通过退化模型在彩色空间上得出图像超分辨率重建训练集,并根据此训练集进行图像邻域分块.为了在训练过程中抑制噪声并锐化图像中的边缘信息,提取训练集亮度和梯度特征并进行特征融合.为了有效提升重建算法的自适应性,引入图像重建优化参数和边缘信息参数...     

利用图像掩膜优化基于生成对抗网络的图像超分辨率模型

深度学习在一定程度上解决了从低分辨率图像中恢复出高分辨率图像这一图像超分辨率问题。目前基于生成对抗网络（generative adversarial network,GAN）的方法可以从超分辨率数据集中学习低/高分辨率图像映射关系,从而生成具有真实纹理细节的超分辨率图像。然而,基于GAN的图像超分辨率模型训练通常不稳定,其结果往往带有纹理扭曲和噪声等问题,提出了采用掩膜（mask）模块以辅助对抗网络训练。在网络训练过程中,掩膜模块根据生成网络输出的超分辨率结果和原始高分辨率图像,计算得到相应观感质量信息,并进一步辅助对抗网络训练。在实验中对3个最近提出的基于GAN的图像超分辨率模型进行修改,引入掩膜模块,修改后的模型在超分辨率图像输出的观感和真实感量化指标上均有明显地提升。掩膜模块的优点是可以进一步提升基于GAN的图像超分辨率网络输出的超分辨率图像观感质量,并仅需对生成对抗网络训练框架进行修改,因此适用于多数基于GAN的图像超分辨率模型的进一步优化。     

基于PP-MRF模型的单目车载红外图像三维重建

针对车载红外图像的特点,提出了一种使用超像素分割和面板参数马尔科夫随机场(PPMRF)相结合的单目车载红外图像三维重建方法.该方法首先通过超像素分割得到在纹理和亮度上相近的一系列小的区域,即超像素,然后训练PP-MRF模型,使它能对待测试图像的各个超像素进行面板参数的分析和深度估计.通过实验证明了该方法能够有效地对单目车载红外图像做出深度估计及三维重建.     

结合编解码器与知识蒸馏的图像超分辨率方法

针对传统的知识蒸馏方法无法在超分辨率网络之间传递有效信息的局限性,提出了一种适用于超分辨率任务的知识蒸馏训练框架。借鉴编解码器的结构特点,使用编码器去捕捉高清图像中的高频信息,利用性能较好的大网络去构建解码器,通过特征知识蒸馏的方式,将大网络中的高频信息传递给性能较弱的小网络,达到无需修改小网络的结构便能有效提升小网络高分辨率图像重建的效果,训练出轻量级的超分辨网络。通过与现有算法进行定量比较可知,提出的算法能在相同计算资源下取得更优的性能表现。     

基于深度特征蒸馏的人脸识别

在人脸识别系统中,深度学习由于强大的表征能力被广泛应用,但模型推理的高计算复杂度和特征表示的高维度分别降低了特征提取和特征检索的效率,阻碍了人脸识别系统的实际部署.为了克服这两个问题,本文提出一种基于深度特征蒸馏的人脸识别方法,该方法通过多任务学习实现大深度模型知识与领域相关数据信息的蒸馏,从而统一地压缩深度网络参数及特征维度.联合特征回归与人脸分类,以预训练的大网络为教师网络,指导小网络训练,将知识迁移得到轻量级的学生网络,实现了高效的特征提取.在LFW人脸识别数据集上进行了实验,学生模型在识别精度相比教师模型下降3.7%的情况下,模型参数压缩到约2×107、特征维度降到128维,相比教师模型分别获得了7.1倍的参数约减、32倍的特征降维及95.1%的推理复杂度下降,表明了方法的有效性和高效性.     

Hyper-SegUNet:基于超网络的超参自学习医学图像分割模型

为解决在训练UNet及其变种时需要手动选择超参数的缺陷，提出一种嵌入超网络(Hypernetworks)的医学图像分割模型Hyper-SegUNet.首先，构建编码器和解码器组成的U型网络结构.然后，将多组超参数作为解码器的输入单元，进而输出多组不同超参数下的性能，并从中挑选最优超参数.在腹部多器官分割数据集Synapse和心脏单器官分割数据集ACDC的实验结果表明，该模型可以自动选择超参数，而且分割准确性优于基线方法.     

基于PPYOLOE的师生互助训练半监督目标检测网络

随着深度学习技术的发展,基于卷积神经网络的目标检测技术成为当前计算机视觉领域的研究热点之一.目前主流的目标检测算法依赖于监督学习方式,需要在大量有标注图像数据上训练网络,然而,无标签的数据易于获取,而有标签的数据收集起来通常很困难,标注也耗时和耗力．为了解决数据标注难以获取的问题,提出了教师学生互助训练的半监督目标检测(PPYOLOE-SSOD)算法．首先,同时训练一个学生模型和逐渐改进的教师模型,使用教师模型筛选高质量伪标签,将伪标签作为未标注图像的回归目标,指导学生模型训练,挖掘未标注图像的知识信息,为了减小参数传递的不稳定性,每次迭代学生模型使用指数移动平均方法更新教师模型参数;此外,引入不同种类的半监督数据增强方法来增强网络的抗干扰能力;最后,针对无标注数据的学习,新增无监督学习分支,使用密集学习方式对模型预测得到的特征进行处理,通过对教师模型预测的分类特征排序,自动选择高质量特征作为教师模型生成的伪标签,从而避免了繁琐的伪标签后处理,提升网络的精度和训练速度．在MSCOCO数据集上,通过使用半监督学习方法,PPYOLOE在1%、5%、10%的标注数据集上分别得到了1.4%、1...     

基于密连接生成对抗网络的图像超分辨率重建

为了使超分辨率图像展现更好的视觉效果,在基于生成对抗网络的超分辨率算法基础上,改进生成器网络,加入密连接块,使网络在更少参数、更低计算成本、更短训练时间的情况下,实现更优的性能.为了促进图像的空间平滑性,在优化问题中,使用内容损失函数和Total Variation Loss一起约束噪声.输出图像选取VGG19的19、16、13、10、7层输出对比结果,加强了不同尺度图像的特征融合.主观视觉效果显示,该方法重建后的图像质量有所提升,重建后的图像细节信息有所增加;同时,用于评价图像重建质量的峰值信噪比(PSNR)提升了1.30dB,结构相似性(SSIM)提升了0.03.     

基于改进PSPNet网络的古代壁画分割方法

针对传统方法在古代壁画图像分割过程中出现的目标边界模糊、图像分割效率低等问题,提出一种基于PSPNet网络的多分类壁画图像分割模型(PSP-M).模型首先融合轻量级神经网络MobileNetV2,降低硬件条件对于模型训练的限制.其次通过全局金字塔模块,将不同级别的特征图拼接起来,避免了表征不同子区域之间关系的语境信息的丢失.最后利用金字塔场景解析网络嵌入壁画背景特征,减少特征损失的同时提高特征提取效率.实验结果表明,PSP-M模型较传统的图像分割模型在训练精确度上平均提升2%,峰值信噪比(PSNR)较实验对比模型平均提高1～2 dB,结构相似指标(SSIM)指标较实验对比模型平均提高0.1～0.2,实验验证了PSP-M模型在壁画分割方面的可行性.     

基于生成对抗网络的轻量级图像盲超分辨率网络

针对图像盲超分辨率网络计算参数多、模型庞大的问题,对快速且节省内存的轻量级图像非盲超分辨率网络（fast and memory-efficient image super resulotion network, FMEN）进行改进,提出了一种轻量级的快速且节省内存的图像盲超分辨率网络（fast and memory-efficient image blind super resulotion network, FMEBN)。首先,通过图像退化模块模拟部分真实世界退化空间,使用退化预测模块预测低分辨率(low resolution, LR)图像的退化参数;然后,为能有效利用退化先验信息指导并约束网络进行重建,使用动态卷积对原网络特征提取、重建模块、高频注意力块（high frequency attention block, HFAB）结构进行改进;最后,使用生成对抗网络（generative adversarial network, GAN)对FMEN训练策略与损失函数进行优化,减小真实数据与生成数据的差异,生成更加真实、清晰的纹理、轮廓。实验结果表明,在合成图像数据集和真实图像数据集R...