首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 655 毫秒
1.
针对嵌入式和移动设备的计算和存储资源受限, 紧凑型网络优化易收敛至较差局部最优解的问题, 提出一个特征图自适应知识蒸馏模型, 其由特征图适配器和特征图自适应知识蒸馏策略构成. 首先, 特征图适配器通过异构卷积与视觉特征表达模块的堆叠实现特征图尺寸匹配、 教师学生网络特征同步变换及自适应语义信息匹配. 其次, 特征图自适应知识蒸馏策略将适配器嵌入教师网络对其进行重构, 并在训练过程中实现适合用于学生网络隐藏层监督特征的自适应搜索; 利用适配器前部输出提示学生网络前部训练, 实现教师到学生网络的知识迁移, 并在学习率约束条件下进一步优化. 最后, 在图像分类任务数据集cifar-10上进行实验验证, 结果表明, 特征图自适应知识蒸馏模型分类正确率提高0.6%, 推断损失降低65%, 并将收敛至78.2%正确率的时间减少至未迁移时的5.6%.  相似文献   

2.
知识蒸馏能提高神经网络的泛化能力,可解决遥感图像场景分类时标注数据不足的问题。遥感图像存在的类间高相似性会导致中间知识特征丢失,针对该问题,本文提出一种基于自蒸馏级联注意力机制的特征提取方法(SDCASA)。首先构造权值共享的教师、学生网络;然后使用级联注意力模块精细化深层教师网络所提取到的特征,同时保留被浅层神经网络过滤的中间边缘信息;再利用精细化之后的特征指导学生网络学习;最后在下游训练一个线性分类器完成特征分类。在3个公开数据集AID、MLRSNet、EuroSAT上使用20%和50%的样本训练,分类准确率分别达到85.17%、90.10%、 91.13%和85.50%、92.13%、91.17%。此方法能有效提高遥感图像场景分类准确率,性能优于主流自监督图像分类方法 SimSiam、SwAV、MoCov2、Deepcluster,具有良好的应用价值。  相似文献   

3.
过去几十年,卷积神经网络(Convolutional Neural Networks, CNNs)在单图像超分辨率(Single Image Super-Resolution,SISR)方面取得了明显的进展.现在大部分基于CNNs的方法都致力于构造新的架构去提升重建性能,这通常依赖大量计算和存储成本,难以应用于移动设备.提出了一种新颖的基于深监督对称蒸馏网络的高效单图像超分辨率重建方法(Deeply-Supervised Symmetry Distillation Network, DSSD),通过构造高频特征递归模块(High-frequency Feature Recursive Module, HFRM)和对称退化模块(Symmetry Degradation Module, SDM)缓解教师网络中提取高分辨率(High-Resolution, HR)高频信息不够准确这一问题.为了约束教师网络中提取的高频特征,采用深监督方法使教师网络蒸馏的知识与学生网络互补.在DIV2K数据集上的实验表明,DSSD有效增强了单图像超分辨率(SISR)的性能,HFRM和SDM的引入能够有效帮助DS...  相似文献   

4.
因能有效地压缩卷积神经网络模型,知识蒸馏在深度学习领域备受关注。然而,经典知识蒸馏算法在进行知识迁移时,只利用了单个样本的信息,忽略了样本间关系的重要性,算法性能欠佳。为了提高知识蒸馏算法知识迁移的效率和性能,文中提出了一种基于特征空间嵌入的对比知识蒸馏(FSECD)算法。该算法采用批次内构建策略,将学生模型的输出特征嵌入到教师模型特征空间中,使得每个学生模型的输出特征和教师模型输出的N个特征构成N个对比对。每个对比对中,教师模型的输出特征是已优化、固定的,学生模型的输出特征是待优化、可调优的。在训练过程中,FSECD缩小正对比对的距离并扩大负对比对的距离,使得学生模型可感知并学习教师模型输出特征的样本间关系,进而实现教师模型知识向学生模型的迁移。在CIFAR-100和ImageNet数据集上对不同师生网络架构进行的实验结果表明,与其他主流蒸馏算法相比,FSECD算法在不需要额外的网络结构和数据的情况下,显著提升了性能,进一步证明了样本间关系在知识蒸馏中的重要性。  相似文献   

5.
目的 在不依赖真实标签的情况下利用图像样本关系识别被疟疾寄生虫感染的细胞。方法 采用一种能够提取样本间关系的无监督疟疾识别方法,并提出了一个由3个模块组成的样本关系注意力嵌入(Sample Correlation Attention Embedding, SCAE)模型。特征和关系初始化模块用于将原始图像映射为特征向量,并建立疟疾细胞之间的初始相关性矩阵。图注意力编码器模块通过一个带有注意力机制和图重构技术的图卷积网络进一步学习样本间特征和他们的关系信息。深度特征聚类模块用来预测细胞是否被疟疾感染。结果 将SCAE模型与一些最新的无监督算法进行了比较,以验证其在疟原虫识别任务中的有效性。结果表明,SCAE算法可达到94.8%的准确率、86.8%的标准化互信息(NMI)指标和84.7%的调整互信息(AMI)指标。结论 通过对SCAE模型评估,证明了该方法具有强大的疟疾识别能力,是当前最优的无监督疟疾识别方法。  相似文献   

6.
在人脸识别系统中,深度学习由于强大的表征能力被广泛应用,但模型推理的高计算复杂度和特征表示的高维度分别降低了特征提取和特征检索的效率,阻碍了人脸识别系统的实际部署.为了克服这两个问题,本文提出一种基于深度特征蒸馏的人脸识别方法,该方法通过多任务学习实现大深度模型知识与领域相关数据信息的蒸馏,从而统一地压缩深度网络参数及特征维度.联合特征回归与人脸分类,以预训练的大网络为教师网络,指导小网络训练,将知识迁移得到轻量级的学生网络,实现了高效的特征提取.在LFW人脸识别数据集上进行了实验,学生模型在识别精度相比教师模型下降3.7%的情况下,模型参数压缩到约2×107、特征维度降到128维,相比教师模型分别获得了7.1倍的参数约减、32倍的特征降维及95.1%的推理复杂度下降,表明了方法的有效性和高效性.  相似文献   

7.
针对行人检测算法中存在特征鲁棒性差及分类器拟合非线性数据能力弱等问题,提出一种基于纹理特征和深度学习分类算法的行人检测方法.提出一种改进的GSRLBP纹理特征提取算法,提取行人图像的局部纹理特征,通过获取像素点的梯度信息结合GSRLBP算法消除微小扰动对行人特征提取的影响,进一步增强特征提取的鲁棒性.搭建基于深信度网络的深度学习行人样本分类器,利用多层受限波兹曼机搭建分类器输入端和中间层,将行人纹理特征信息逐层转化和传递,实现特征数据的自学习,利用BP神经网络搭建分类器的输出端,实现分类器结构的自优化.研究结果表明,该算法可行、有效,且性能优于经典浅层机器学习行人检测算法.  相似文献   

8.
随着深度学习技术的发展,基于卷积神经网络的目标检测技术成为当前计算机视觉领域的研究热点之一.目前主流的目标检测算法依赖于监督学习方式,需要在大量有标注图像数据上训练网络,然而,无标签的数据易于获取,而有标签的数据收集起来通常很困难,标注也耗时和耗力.为了解决数据标注难以获取的问题,提出了教师学生互助训练的半监督目标检测(PPYOLOE-SSOD)算法.首先,同时训练一个学生模型和逐渐改进的教师模型,使用教师模型筛选高质量伪标签,将伪标签作为未标注图像的回归目标,指导学生模型训练,挖掘未标注图像的知识信息,为了减小参数传递的不稳定性,每次迭代学生模型使用指数移动平均方法更新教师模型参数;此外,引入不同种类的半监督数据增强方法来增强网络的抗干扰能力;最后,针对无标注数据的学习,新增无监督学习分支,使用密集学习方式对模型预测得到的特征进行处理,通过对教师模型预测的分类特征排序,自动选择高质量特征作为教师模型生成的伪标签,从而避免了繁琐的伪标签后处理,提升网络的精度和训练速度.在MSCOCO数据集上,通过使用半监督学习方法,PPYOLOE在1%、5%、10%的标注数据集上分别得到了1.4%、1...  相似文献   

9.
小样本图像分类的准确性取决于神经网络模型对样本数据提取图像表征的能力,为了挖掘出图像更多的细节信息,提出了一种基于多角度学生子注意力网络的小样本分类方法。首先将Conv64所提取的特征作为网络的基础特征,其次构建两个学生分支,使网络从图像位置和通道角度来提取图像的细节信息,最后融入互学习思想,促使两个学生子分支相互监督,相互学习,利用两个学生子分支网络分别对小样本任务进行分类。文中在Mini-ImageNet和Tiered-ImageNet两个数据集上验证了多角度学生子注意力网络有效性,在Mini-ImageNet数据集上,该方法5-way 1-shot准确率为56.54%,5-way 5-shot准确率为73.87%。在Tiered-ImageNet数据集上,该方法5-way 1-shot及5-way 5-shot准确率分别上升到59.62%及77.96%。实验结果表明,相较于只使用单一角度的注意力网络,基于多角度学生子注意力能够更加关注图像的全局信息,显著提高了小样本图像分类的准确性。  相似文献   

10.
提出了一种基于流形半监督学习的移动节点定位算法.该算法利用基于流形学习的半监督方法,通过一定量的有标签样本和无标签样本,获取隐含在节点接收信号强度信息中的流形结构,直接建立节点物理位置与接收信号强度之间的映射关系.算法不需要使用现有的理论或经验信号传播模型,避免了模型不准确带来的定位误差,而且允许网络中存在大量无标签样本,降低了数据采集难度,提高了算法实用性.冶金工业现场的实际应用结果表明,相对RADAR算法,本文算法具有较高的定位精度.  相似文献   

11.
针对大规模网络视频数据的学习需要考虑无标签数据和异构信息的问题,提出了一种基于视觉和文本异构信息的网络视频在线半监督学习方法.该方法将文本和视觉看作2个视图,采用图作为基分类器对每个视图进行建模,并利用线性邻域的传播算法来预测样本类别.在不同视图之间采用多图上的协同训练,利用未标记样本增量地更新基分类器,并根据类别相关的融合方法确定最终结果,从而提高了分类准确率.实验结果表明,该方法的结果优于支持向量机方法约8.3%,在线增量更新后,学习器的性能提高了约3%,因此比较适合于大规模视频数据的在线半监督学习.  相似文献   

12.
本文主要研究自监督学习方法在视频目标分割中的应用。首先通过挖掘大规模无标注视频数据中的时间-空间关系,让神经网络作为特征编码器学习视频帧之间的相似性和连续性;然后通过记忆力机制训练网络,使其对当前帧和多个参考帧之间的关系进行建模;利用特征编码器学习到的特征对视频帧中的分割目标进行重建,进行下游的视频目标分割任务;最后,利用在线自适应模块对视频分割结果的错误进行修正。实验结果表明,本文的自监督方法在视频分割任务上的表现可以更加接近有监督方法的分割结果,采用记忆力机制和在线自适应模块可以大大提高视频目标分割的准确性。另外本文探究了数据有效性,当采用少量数据进行网络的自监督训练时,模型仍能取得较好的效果,意味着这个任务本身不需要大规模数据集中富含的复杂语义信息进行建模。  相似文献   

13.
半监督学习是一种利用有标记样本和无标记样本进行学习的新的机器学习方法。针对单分类中只有目标类标记样本和大量无标记样本的情况,提出了一种基于半监督学习的单类分类算法。利用已标识的有标记样本建立两个单类分类器,通过相互学习来挖掘未标记样本中的隐含信息,扩大有标记样本的数量。利用所有已标识样本,用不同的单分类方法建立多个单类分类器,通过集成学习的方法得到最终的分类器。在UCI数据集上进行了实验,表明提出的基于半监督学习的单类分类器的有效性。  相似文献   

14.
深度全卷积语义分割网络能够提供像素级带钢表面缺陷检测,对于带钢质量控制具有至关重要的作用。但是这类模型大多无法感知缺陷边缘,而且性能往往严重依赖大量精确标注的标签样本,严重影响其实际应用。为了解决以上困难,提出了一种基于边缘感知和小样本学习的多尺度带钢表面缺陷语义分割网络。该网络由两个级联的子网络组成。第一个子网络首先利用改进的一次性聚合模块和特征金字塔注意力模块构建编码器,提取多层级和多尺度特征并降低训练所需的数据量。然后将一系列全局注意力上采样模块作为解码器实现高级特征指导低级特征复原空间信息,并输出初步预测结果。第二个子网络利用一个浅层U-Net对第一个子网络获得的初步预测结果进行细化并增强边缘检测能力。东北大学热轧带钢表面缺陷数据集上的实验证明了该方法对夹杂、斑点和划伤等表面缺陷自动提取的可行性和有效性。  相似文献   

15.
目的 针对目前跨模态行人重识别研究中对行人细腻区域关注不足以及网络易受噪声影响的问题,提出一 种多分支融合变分细化蒸馏学习方法。 方法 首先,网络通过多分支聚合不同粒度的全局特征,督促深层网络学习 两种模态的全局信息和细节信息,丰富行人的特征描述符;然后,结合变分细化蒸馏策略,对特征信息进行再压缩, 保留与任务相关的深层信息,同时丢弃无用的干扰物;最后,将网络捕获的不同特征用多种损失函数联合监督,以 提高网络对行人表征的敏感度。 结果 所提方法在 SYSU-MM01 数据集的全搜索模式下,R-1 和 66. 93%和 mAP 分别达到 65. 25%;在 RegDB 数据集的可见光到红外设置下,R-1 和 mAP 分别达到 78. 26%、77. 83%。 结论 通过 消融实验、对比实验和可视化实验,充分验证了所提方法的有效性。  相似文献   

16.
针对人工检测缺陷模式或YOLOv5等深度学习算法对工业产品的缺陷检测存在识别准确率低、模型参数规模大等问题,提出一种对微小缺陷端到端检测的嵌入式算法G-YOLO.该算法使用卷积核为3和卷积核为1的双层卷积FConv模块,改善了原单层卷积带来的参数量较大的问题;改进的轻量级跨阶段GSP模块融合坐标注意力机制用于主干网络中能够利用冗余信息实现廉价的线性操作和聚焦缺陷信息来增强特征,以提高网络对缺陷特征的提取能力;去除原YOLOv5的颈部模块,减少网络的参数量和提升网络检测速度.结果表明,G-YOLO嵌入式算法减少了模型大小,改善了缺陷检测的效果,较好地满足轻量化嵌入式模型的要求.  相似文献   

17.
无监督特征选择是无标签高维数据预处理过程中一种有效的数据降维技术,然而大多数无监督特征选择算法忽略了数据样本本身的类簇结构特性,选择具有低判别性信息的特征.基于此,提出一种基于伪标签回归和流形正则化的无监督特征选择算法.具体地,联合伪标签回归和最大化类间散度来保证算法在迭代过程中学习伪标签,同时,自适应学习数据样本之间的局部几何结构,获得更加精准的标签信息和结构信息,进而选择具有高判别性且能保持数据流形结构的特征.在四个公开数据集上的对比实验表明,提出算法的特征选择结果优于现有的一些无监督特征选择算法.  相似文献   

18.
本文主要论述了基于浏览器/服务器结构应用系统的实现方法和技术;阐述了利用ASP技术、ADO技术开发远程教育系统的方法;详细介绍了基于校园网的E-Learning平台的设计与实现,并对其实现过程中的关键技术进行了讨论.系统主要包括管理员模块、教师模块和学生模块.基本涵盖了学生学习过程中各主要方面,例如:信息发布与浏览、在线学习与练习、教师答疑与在线讨论、作业上交和作业成绩查询、用户管理与题库管理等.  相似文献   

19.
针对传统海洋浮游生物利用人工提取特征的传统检测方法,存在检测精度低、检测过程冗余等问题,基于深度学习技术,提出了多模块融合的浮游生物检测器(multi module fusion single shot detector,MMFSSD).首先,提出了特征信息增强模块,在不增加网络复杂性的前提下增加了网络的感受野,将下采样图像注入该模块中,以增强特征图的低级特征信息.在此基础上,进一步提出了选择性特征融合模块,在网络中学习融合时的权重,选择性地融合不同尺度的特征.有效性验证试验结果表明,在数据集PASCAL VOC和MS COCO中的平均精度均值分别为80.70%和32.20%,在浮游生物数据集PMID2019中的平均精度均值达到90.41%.  相似文献   

20.
异常流量检测现有方法大都是基于有监督的学习,在现实生活中获取并标记异常流量数据样本是极为困难的,存在诸多限制.此外,由于网络异常数据的多样性和复杂性,各种检测方法的自适应性较差,对新出现的异常流量难以判断.针对上述问题,本文设计了一个基于生成对抗网络和记忆增强模块的半监督异常流量检测框架MeAEG-Net(Memory Augment Based on Generative Adversarial Network),通过只训练正常流量样本数据,比较生成器模块输入流量底层特征的重构误差来达到检测异常的目的.在模型中使用生成对抗网络来更好地训练生成器,生成器采用自编码器加解码器的结构来解决自编码器易受噪声影响的问题,并在自编码器子网络中添加记忆增强模块来削弱生成器模块的泛化能力,增大异常流量的重构误差.实验证明,本文提出的方法能在只学习正常流量数据样本的前提下达到很好的异常流量检测效果.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号