基于特征空间嵌入的对比知识蒸馏算法

因能有效地压缩卷积神经网络模型,知识蒸馏在深度学习领域备受关注。然而,经典知识蒸馏算法在进行知识迁移时,只利用了单个样本的信息,忽略了样本间关系的重要性,算法性能欠佳。为了提高知识蒸馏算法知识迁移的效率和性能,文中提出了一种基于特征空间嵌入的对比知识蒸馏（FSECD）算法。该算法采用批次内构建策略,将学生模型的输出特征嵌入到教师模型特征空间中,使得每个学生模型的输出特征和教师模型输出的N个特征构成N个对比对。每个对比对中,教师模型的输出特征是已优化、固定的,学生模型的输出特征是待优化、可调优的。在训练过程中,FSECD缩小正对比对的距离并扩大负对比对的距离,使得学生模型可感知并学习教师模型输出特征的样本间关系,进而实现教师模型知识向学生模型的迁移。在CIFAR-100和ImageNet数据集上对不同师生网络架构进行的实验结果表明,与其他主流蒸馏算法相比,FSECD算法在不需要额外的网络结构和数据的情况下,显著提升了性能,进一步证明了样本间关系在知识蒸馏中的重要性。     

基于深度特征蒸馏的人脸识别

在人脸识别系统中,深度学习由于强大的表征能力被广泛应用,但模型推理的高计算复杂度和特征表示的高维度分别降低了特征提取和特征检索的效率,阻碍了人脸识别系统的实际部署.为了克服这两个问题,本文提出一种基于深度特征蒸馏的人脸识别方法,该方法通过多任务学习实现大深度模型知识与领域相关数据信息的蒸馏,从而统一地压缩深度网络参数及特征维度.联合特征回归与人脸分类,以预训练的大网络为教师网络,指导小网络训练,将知识迁移得到轻量级的学生网络,实现了高效的特征提取.在LFW人脸识别数据集上进行了实验,学生模型在识别精度相比教师模型下降3.7%的情况下,模型参数压缩到约2×107、特征维度降到128维,相比教师模型分别获得了7.1倍的参数约减、32倍的特征降维及95.1%的推理复杂度下降,表明了方法的有效性和高效性.     

面向特征融合与知识蒸馏的恶意软件分类

恶意软件分类是一个多分类任务，旨在提取软件特征来训练模型，以判断恶意软件的类别。现有工作主要集中于利用深度神经网络从恶意软件图像中抽取特征进行分类，对恶意软件的序列特征和分布特征之间的关联性缺乏关注，限制了模型性能。此外，这些现有模型大多具有较高的参数量，往往需要占用较大的计算资源。为此，提出一种基于特征融合与知识蒸馏的恶意软件分类方法。一方面，通过残差网络分别从灰度图和马尔可夫图中抽取恶意软件的序列特征和分布特征，并利用自注意力挖掘不同特征之间的关联性，以提升模型性能。另一方面，通过教师网络向多个学生网络进行知识迁移，并让学生网络互相协作学习，以进一步降低模型规模。在微软和CCF数据集上的实验结果证明，该方法不仅有效提升了模型性能，而且可以降低模型的参数量和计算量。此外，本文通过热力图定位影响分类结果的字节，对分类依据进行解释。     

基于自适应温度改进的可解释方法及实验验证

针对教师-学生网络存在的超参数温度控制效率低、时间开销大的问题,提出了一种基于自适应温度的小教师网络辅助训练的可解释模型.在原有教师-学生模型结构的基础上,首先,说明超参数温度只与学生模型的训练收敛速度相关;然后,加入小教师模型结构,节约了解释模型的训练时间.在图像分类的验证实验中,解释模型在cifar-100图像数据...     

基于自适应粒子群优化算法的神经网络的优化研究

针对传统的神经网络训练算法收敛速度慢和泛化性能低的缺陷,提出一种新的自适应粒子群优化算法用于神经网络的训练.该算法通过改进自适应搜索策略以提高网络泛化性能,并结合Ionosphere雷达信号分类数据集进行仿真测试.研究结果表明:基于自适应粒子群优化算法训练的神经网络在分类准确率和分类误差上明显优于传统的BP算法,且很好地提高了网络泛化能力和优化效果.     

基于ResNet-50的级联注意力遥感图像分类

知识蒸馏能提高神经网络的泛化能力，可解决遥感图像场景分类时标注数据不足的问题。遥感图像存在的类间高相似性会导致中间知识特征丢失，针对该问题，本文提出一种基于自蒸馏级联注意力机制的特征提取方法(SDCASA)。首先构造权值共享的教师、学生网络；然后使用级联注意力模块精细化深层教师网络所提取到的特征，同时保留被浅层神经网络过滤的中间边缘信息；再利用精细化之后的特征指导学生网络学习；最后在下游训练一个线性分类器完成特征分类。在3个公开数据集AID、MLRSNet、EuroSAT上使用20%和50%的样本训练，分类准确率分别达到85.17%、90.10%、 91.13%和85.50%、92.13%、91.17%。此方法能有效提高遥感图像场景分类准确率，性能优于主流自监督图像分类方法 SimSiam、SwAV、MoCov2、Deepcluster,具有良好的应用价值。     

基于深度学习与狮群SVM算法的遥感场景分类

针对高分辨遥感图像样本量小,以及传统优化支持向量机(SVM)算法易陷入局部最优解、寻优速度慢等问题,提出一种基于深度迁移学习与狮群优化SVM(LSO-SVM)算法对遥感图像场景进行分类.首先,通过自适应对比度增强图像后利用颜色聚合向量提取图像颜色特征;其次,利用3种预训练网络分别提取图像的迁移学习深度特征;最后,将手工提取的图像特征与用3种预训练网络获取的特征使用系列特征融合方法进行融合,并将其输入LSO-SVM进行图像场景分类.结果表明,该算法解决了小样本情况下深度学习较难训练及传统优化SVM算法易陷入局部最优解、寻优速度慢的问题.在80%的训练条件下,数据集UCM Land-Use和RSSCN7的分类精度分别达到99.52%和98.57%.     

多层次自适应知识蒸馏的轻量化高分遥感场景分类

针对深度神经网络模型计算量大且耗时,而轻量化模型速度快但精度低,二者均无法直接应用在嵌入式设备上的问题,本文提出一种多层次自适应知识蒸馏方法提升轻量化模型的性能。首先,针对遥感影像类别间差异程度不均衡,通过改进输出层知识蒸馏中的温度机制,提出一种自适应温度机制,促进学生模型更好地学习大而深的教师模型的输出层概率分布知识;然后,通过添加辅助卷积块以融入特征层的知识蒸馏方法,使学生模型学习教师模型的多层次知识。在两个高分遥感场景分类数据集上的实验验证本文方法的有效性。     

融合LBP和小波矩特征的肺癌图像精细分类

在肺癌图像精细分类中,进一步区分小细胞肺癌、鳞肺癌、腺肺癌、细支气管肺泡癌还不够成熟,为此,在改进现有精细图像分类研究工作的基础上,利用无须码本与释文的快速模板匹配框架,融合了LBP(Local Binary Pattern)纹理特征和小波矩形状特征,提出了适合肺癌数据的精细图像分类新方法.将纹理特征与形状特征融合,通过分配两种特征的权重,用融合特征进行模板匹配.匹配结果表示成特征响应图的形式,再通过改进的均值空间金字塔模型,从特征响应图中抽取有用特征,进行分类训练.实验结果表明,该方法在肺部影像数据库联盟(LIDC)数据库上达到了91.75%的平均正确率,证明了肺癌图像精细分类方法的有效性.     

采用自适应基因粒子群算法优化隐马尔科夫模型的方法及应用

针对隐马尔科夫模型参数学习算法易收敛于局部极值的问题,提出了一种自适应基因粒子群算法,并将该方法应用于隐马尔科夫模型的训练,实现对隐马尔科夫模型初始参数的优化。在基因粒子群算法的原理以及操作流程的基础上,采用了自适应的参数调整方法,提高了基因粒子群算法的优化性能。分析了所提方法的全局、局部搜索能力以及收敛速度,开展了不同状态滚动轴承的故障诊断实验和测试,并与基于粒子群算法优化隐马尔科夫模型初始参数的方法进行对比。实验结果表明,所提方法对正常、内圈故障、外圈故障以及滚动体故障轴承的诊断准确率均能达到100%,相比于基于粒子群算法优化隐马尔科夫模型初始参数的方法,最高将分类正确率提高了28.57%、分类离散度提高了268.58%,证明了方法的有效性和准确性。     

基于卷积神经网络的猪脸特征点检测方法

针对牲畜面部识别在养殖行业广泛需求的问题, 提出一种基于卷积神经网络的猪脸特征点检测方法, 解决了猪脸特征点难检测的问题. 首先, 采集猪面部数据并进行特征点标注, 使用新的采集方法以解决猪口部通常不可见的问题； 其次, 对猪脸数据和人脸数据进行结构计算, 匹配相似度较高的猪脸和人脸, 构建猪脸人脸匹配数据集； 再次, 利用匹配数据集训练TPS(thin plate spline)形变卷积神经网络, 得到形变后的猪脸数据集以适配人脸特征点检测模型； 最后, 使用形变猪脸数据集对人脸特征点检测神经网络模型进行微调, 得到猪脸特征点检测模型. 实验结果表明, 用该方法进行猪脸特征点检测, 错误率仅为5.60%.     

迈克尔逊干涉仪实验中的几个问题

对物理实验迈克尔逊干涉仪的调节和使用中常存在的几个问题进行分析和讨论，指出形成定域或非定域干涉取决于光源，产生等倾或等厚干涉不仅与M1与M′2之间的夹角α有关，还受其间的空气层厚度d影响.从3个方面给出仪器调整的方法.     

基于对比学习方法的小样本学习

针对目前小样本学习中存在的问题,设计一种新的网络结构及其训练方法以改进小样本学习.该网络在特征嵌入部分采用卷积网络并结合多尺度滑动池化方法以增强特征提取.网络主体结构为类孪生网络,以便于通过样本间的对比从小样本数据中学到语义.网络的训练方法采用嵌套层次的参数更新以保证收敛的稳定性.在两个经典小样本学习数据集上与常用的视觉模型和前沿小样本学习方法进行了对比实验,实验结果表明,该方法在小样本学习的精度上有显著提升,可作为样本不充足情况下的解决方案.     

φ-凹（凸）算子的特征值与固有元

利用锥理论研究φ-凹（凸）算子的特征值与固有元的存在性与相互依赖性，丰富和发展了φ-凹（凸）算子的理论.     

一种基于Gray码规则的彩色图像量子隐写方案

为提高量子隐写的安全性和隐写容量, 设计一种基于Gray码规则的隐写方案. 该方案以彩色图像作为载体, 先将秘密信息划分为3 bit段, 再将每段秘密信息基于Gray码规则嵌入载体像素RGB通道的LSB(least significant bit)中, 完成信息嵌入过程; 提取是嵌入的逆过程, 先从载体像素RGB通道提取出3 bit秘密信息段, 再将其拼接还原为原始秘密信息. 该方案每个载体像素可容纳3 bit秘密信息, 具有较高的嵌入容量; 基于Gray码的嵌入规则, 有效提高了嵌入方案的安全性. 仿真结果表明, 该方案在嵌入容量和安全性方面均优于其他同类方案.     

基于Harris-Hist的特征匹配及目标定位算法

针对目前机器人伺服定位抓取中定位精度和实时性较差的问题, 提出一种基于Harris-Hist的快速特征匹配及目标定位算法. 首先, 采用Harris检测算法提取图像特征点; 然后, 提出一种新的特征点描述子定义方法, 计算特征点圆形邻域内像素点灰度直方图刻画特征点, 通过计算两幅图像中各特征点描述子间的距离实 现特征匹配; 最后, 根据匹配结果, 估计单应性矩阵, 定位目标在场景图像中的位置. 实验结果表明, 该算法匹配速度快、 定位精度高, 能满足机器人伺服定位抓取中定位精度和实时性的要求.     

整数值Z上的混合符号稀疏算子INAR(1)模型

利用混合符号稀疏算子建立整数值Z上的INAR(1)模型, 证明模型的严平稳性和遍历性, 讨论模型的转移概率、 条件期望和条件方差, 并用最大似然方法估计模型参数.     

Lévy噪声驱动下具有非单调发生率的随机SIQR传染病模型

基于Lyapunov方法和随机微分方程相关理论, 证明一类Lévy噪声驱动的具有非单调发生率的随机SIQR传染病模型正解的全局存在唯一性, 并研究该模型分别在相应确定型模型的无病平衡点以及地方病平衡点附近解的渐近行为, 分析得出随机噪声对模型动力学行为的影响.