基于M-DCGAN的缺陷检测数据集增广方法

针对智能制造中表面缺陷检测数据集不足问题，提出基于M-DCGAN的数据集增广方法。首先，向判别器添加上采样模块，搭建类U-Net结构并提升判别器与生成器的网络深度；设计基于Canny边缘检测的缺陷位置二值化掩膜提取方法；定义图像掩膜依赖的损失函数，建立缺陷目标位置关注引导机制；插入谱归一化层和Dropout层以提高训练稳定性，保持生成图像数据多样性。带钢缺陷数据集实验结果表明，该模型生成图片质量高于DCGAN、WGAN-GP和InfoGAN。采用本文M-DCGAN算法增广训练数据，能够显著提升并超过传统增广算法在YOLOv5、SSD、Faster R-CNN、YOLOv3等八种经典方法中的缺陷检测精度，验证了本文算法的有效性。     

多生成器生成对抗网络

生成对抗网络(Generative adversarial networks,GAN)广泛应用于各种领域,尤其在图像生成方面.该模型由生成网络与判别网络2部分组成,在无监督的训练方式下,2个网络相互竞争相互提高.然而,GAN在训练时经常出现模式崩溃问题,进而导致模型收敛较慢,生成样本多样性较差.为解决这一问题,在深度卷积神经网络的基础上提出了一种多生成器生成对抗网络模型.该模型包含多个生成网络,每个生成网络均使用残差网络进行搭建,同时在生成网络间引入协作机制,以加快模型获取信息并减少参数量,最后将各生成网络的特征图进行融合得到最终图像输入到判别网络中.GAN在训练过程中还会出现梯度消失、训练不稳定问题.为避免出现这些问题,将Wasserstein距离和梯度惩罚引入模型的损失函数.通过在多个数据集上与多种相关方法进行实验比较,结果表明提出的模型在缓解模式崩溃问题、加快模型收敛速度以及减少参数量上均明显优于其他几种方法.     

基于联邦学习的网络异常检测

作为一类网络安全的基础研究,网络异常检测技术目前还存在检测准确率低、误报率高以及缺乏标签数据等问题。为此提出一种融合联邦学习和卷积神经网络的网络入侵检测分类模型（CNN-FL）,可有效解决多个参与者在不共享隐私数据的情况下进行一个全局模型的协作训练时所带来的问题。该模型无需汇集模型训练所需要的数据进行集中计算,只是传递加密的梯度相关数据,即可利用多源数据协同训练同一模型,并解决缺乏标签数据的问题。随后将该模型应用于二分类和多分类方法中,并在同一基准数据集NSL-KDD上进行了实验比较与分析,实验结果表明,与其他研究方法相比,所提CNN-FL分类模型在二分类以及多分类中具有较高的识别性能和分类精度。     

基于异构融合和判别损失的图嵌入聚类

针对自动编码器仅对单个数据所包含的内容信息进行特征提取,忽略了数据之间结构信息的问题,提出一种基于异构融合和判别损失的深度图聚类网络.首先,将两个自动编码器获取的异质信息进行融合,解决了采用单一自动编码器提取特征时的信息丢失问题;其次,在聚类训练模块基于类内分布一致性设计判别损失函数,使模型可以端到端地训练,避免了两阶段训练方法中出现特征提取与聚类算法提前假设不匹配的情况;最后,在6个常用数据集上进行实验并验证了该方法的有效性.实验结果表明,与现有的大多数深度图聚类模型相比,该方法在非图数据集和图数据集上的聚类性能有明显提升.     

基于GAN的多变量时间序列异常检测方法

近年来，生成对抗网络在多变量时间序列异常检测中得到了广泛应用。然而现有解决方案多存在一些局限性，主要限制是没有明确地捕捉多变量时间序列在时间维度和特征维度上的复杂依赖关系而导致误报。针对该问题，本文使用生成对抗网络对多变量时间序列进行建模，通过在各网络中加入一个多通道注意力层来捕捉数据时间和空间维度的重要性，以提高异常检测的准确性。此外，生成器使用解码-编码器结构，通过在训练阶段对编码器、解码器和判别器进行联合训练，使得异常检测阶段无需计算从实时空间到隐空间的最佳映射，以此提高异常检测的效率。本文在两个公开数据集上进行了实验验证，结果表明，所提方法相较于基线方法在异常检测性能上优势明显。     

基于跨层网络的危险物品X射线自动识别

针对当前的行李物品安检系统通过人眼进行判别,检测效率较低、存在漏检的问题。提出了一种改进后的faster-rcnn跨层检测网络,通过跨层连接网络层,采集多种角度下的危险物信息,将网络结构中提取的低层次特征和高层次特征相结合来训练网络结构,提升网络的复杂性。研究表明该方法在本文所构建的数据集上进行训练和检测实验,结果表明检测效果良好。     

目标检测模型的优化训练方法研究

针对基于深度学习的目标检测模型如何能更高效地训练问题,探究数据增强、类标签平滑、学习率优化和随机尺度训练四种优化训练方法对于检测性能的提升程度,并将其用于单阶段检测模型YOLOv3和双阶段检测模型Faster R-CNN。在PASCAL VOC数据集上进行训练测试,证明这些方法都能在一定程度上提高检测准确率,并阐释了各种方法提升准确率的原因。在MS COCO数据集上实验证明这些优化训练方法的泛化能力,能够更高效地训练目标检测模型。     

基于域泛化的工业设备无监督异常声音检测算法

在工业场景中,因为设备异常现象的罕见性和高度多样化,以及机器的操作条件或环境噪声在训练和测试阶段的不同,会改变训练和测试数据之间的声学特性。为解决上述问题,提出一种基于联合深度学习和变分贝叶斯高斯混合模型的无监督异常声音检测算法。通过两种神经网络联合训练进行信息提取,并利用变分贝叶斯高斯混合模型对其所获得的嵌入进行聚类分析;引入一种新的混合示例数据增强方法,用多种方式相结合的替代方法来生成示例,以对齐不同域之间的分布;应用了一种改进的子集群AdaCos损失函数,以排除潜在的异常值。实验结果表明,该方法在三种工业机器类型的数据集上目标域的平均曲线下面积达到了79.03%,平均F₁分数达到了67.23%;对比基线模型,谐波平均值提升约20%,在工业设备无监督异常声音检测中表现良好。     

基于二次训练技术的入侵检测方法研究

提出了一个基于二次训练技术的网络入侵检测模型,不但可以从整体上提高入侵检测系统的检测性能,而且对于低频率、高危害攻击类型的检测性能有着更加显著的提升.该模型首先利用PCA算法提取数据集中的重要特征,然后使用二次训练技术训练分类器构建网络入侵检测模型.实验中分别使用决策树、朴素贝叶斯和KNN 3个经典分类算法构建了基于二次训练技术的入侵检测模型,并在著名的KDDCup99数据集上进行了实验.结果表明本文的入侵检测模型可以有效地提高入侵检测系统的性能,尤其是对于低频率攻击类型的检测性能有明显的提升.      

基于深度卷积神经网络与中心损失的人脸识别

传统人脸识别方法手工设计特征过程复杂、识别率较低,对于开集人脸识别通用深度学习分类模型特征判别能力较弱。针对这两方面的不足,提出了一种以分类损失与中心损失相结合作为模型训练监督信号的深度卷积神经网络。首先,利用构建的应用场景数据集优调从公共数据集获得初始化参数的深度人脸识别模型,解决训练数据过小和数据分布差异问题,同时提高模型训练速度;然后,以传统损失函数和新的中心损失作为迁移学习过程中的监督信号,使得类内聚合、类间分散,提高模型输出人脸特征的判别能力;最后,对人脸特征进行主成分分析,进一步去除冗余特征,降低特征复杂度,提高人脸识别准确率。实验结果表明,与传统人脸识别算法相比该算法可以自动进行特征提取,并且相对于通用深度学习分类模型该算法通过度量学习使特征表示更具判别力。在自建测试集和LFW、YouTube Faces标准测试集上都取得了较高的识别率。     

入侵检测系统中异常判别

在入侵检测系统中运用统计原理辨别计算机的异常使用，是入侵检测系统研究的方向和趋势。进一步完善了异常判别中的统计模型，并根据异常检测模型给出数据描述和相应异常判别算法，最后总结了异常判别算法的优点和将来的工作。     

二分类判别网络的对抗样本检测

在原始图像数据集中,添加特殊的细微扰动能形成对抗样本,经这类样本攻击的深度神经网络等模型可能以高置信度给出错误输出,然而当前大部分检测对抗样本的方法有许多前提条件,限制了其检测能力.针对这一问题,该文提出一个二分类判别网络模型,通过多层卷积神经网络来提取样本数据的主要特征; 应用特殊的判别目标函数,结合不同程度的噪声数据来训练并优化网络模型,以提高模型检测对抗样本的能力; 模型采用端到端的方式,可直接部署到目标模型的源样本中来检测对抗样本的存在,亦可进行大规模应用.实验结果表明:该模型的检测率优于其他相关模型.     

CWGAN-DNN：一种条件Wasserstein生成对抗网络入侵检测方法

针对现有的基于机器学习的入侵检测系统对类不平衡数据检测准确率低的问题,提出一种基于条件Wasserstein生成对抗网络(CWGAN)和深度神经网络(DNN)的入侵检测(CWGAN-DNN).CWGAN-DN N通过生成样本来改善数据集的类不平衡问题,提升对少数类和未知类的检测效率.首先,通过变分高斯混合模型(VGM)对原始数据中的连续特征进行处理,将连续特征的高斯混合分布进行分解;然后利用CWGAN学习预处理后数据的分布并生成新的少数类数据样本、平衡训练数据集;最后,利用平衡训练集对DNN进行训练,将训练得到的DNN用于入侵检测.在NSL-KDD数据集上进行的实验结果表明:利用CWGAN生成的数据进行训练,DNN的分类准确率和F1分数提升了5％,AUC下降了2％;与其他类均衡方法相比,CWGAN-DNN的准确率至少提升了3％、F1分数和AUC提升了1％.     

基于联邦迁移学习的应用系统日志异常检测研究

迄今为止，基于日志的异常检测研究已经取得了很多进展，然而，在现实条件下仍旧存在两个挑战：（1） 是日志数据通常以“数据孤岛”形式储存在不同的服务器上，单一公司或组织的日志数据中异常样本量不足，且异常模式较为固定，很难通过这些数据训练出一个准确率高的检测模型. 为了解决这个问题，将不同来源的日志数据整合成更大的数据集可以提高模型训练的效果但可能会在数据传输过程中产生日志数据泄露问题；（2） 是不同应用系统类型的日志数据通常在结构和语法上存在差异，简单地整合并用于训练模型效果不佳. 基于以上原因，本文提出一种基于联邦迁移学习的日志异常检测模型训练框架LogFTL，该框架利用基于匹配平均的联邦学习算法，在保证客户端数据隐私安全的前提下于服务器聚合客户端的模型参数形成全局模型，再将全局模型分发给客户端并基于客户端的本地数据进行迁移学习，优化客户端本地模型针对自身常见异常行为的检测能力. 经过实验表明，本文提出的LogFTL框架在联邦学习场景下效果超过了传统的日志异常检测方法，同时也证明了该框架中迁移学习的效果.     

基于混合判别受限波兹曼机的音乐自动标注算法

对于音乐自动标注任务,在很多情况下,未标注的歌曲量远远超过已标注的歌曲数据,从而导致训练结果不理想。生成模型能够在某种程度上适应少量数据集的情况,得出较为满意的结果,然而,在有充分数据集的情况下生成模型的效果却劣于判别模型。本文提出了一种结合生成模型与判别模型两者优势的面向音乐自动标注的混合判别波兹曼机模型,该模型可明显提升音乐自动标注的准确率。实验结果表明,混合波兹曼机的效果不仅好于传统的机器学习模型,同时,模型在拥有足够训练数据量的情况下与判别模型效果相当,且在训练集较少的情况下效果也好于判别模型。另外,为了防止模型过拟合,还引入了Dropout规则化方法以进一步加强模型的性能。     

一种基于类不平衡学习的情感分析方法

针对网络评论中普遍存在的负面评论较少而影响力却较大的类不平衡问题, 提出一种基于类不平衡学习的情感分析方法. 该方法利用深度学习训练过程中的概率输出, 以计算样例的信息熵作为影响因子构建交叉信息熵损失函数. 在IMDB公开数据集上进行实验验证的结果表明, 基于集成信息熵损失函数的双向长短期记忆网络能处理类不平衡问题; 对数据的统计分析结果表明, 该策略能提升基于双向长短期记忆网络的评论情感极性分类性能. 针对AUC(area under curve)指标, 使用集成信息熵损失函数的双向长短期记忆网络模型比未考虑类不平衡的深度学习模型在中位数上最多提升15.3%.     

基于生成式对抗网络的自监督多元时间序列异常检测方法

异常检测是数据挖掘的重要研究方向之一.工业设备的各项指标以多元时间序列的形式被传感器监测，多元时间序列的异常检测对保障安全和提高服务质量至关重要，但是异常的定义相对模糊，具有异常标签的数据很稀少.此外，多元时间序列具有复杂的时间依赖性和随机性，使异常检测存在许多问题.提出CPCGAN模型，使用自监督学习的方法对多元时序数据进行异常检测.首先使用对比学习的方法得到多元时序数据的表示向量，再将具有先验信息的表示向量作为输入用来训练生成式对抗网络，通过生成式对抗网络的重构误差来确定异常.在五个数据集上与五种无监督异常检测方法进行对比，实验结果证明提出的方法能有效地检测两类异常，并且，在大多数数据集上的表现更好.     

一种基于核熵和人工免疫的网络异常检测方法

针对网络样本数据复杂且维数较高,导致异常检测模型容易遭受维数灾难这一问题,本文将核熵成分分析法应用到基于人工免疫的网络异常检测中,与传统的多元统计分析方法相比,核熵成分分析可以保证数据降维过程的信息熵损失更少,从而保留了更多有用的分类信息.基于降维后的数据,本文采用实值否定选择算法训练人工免疫检测器对网络异常样本进行检测.在入侵检测标准数据集KDD Cup99上进行了对比实验,实验结果表明,基于核熵成分分析的异常检测准确率从87.1%提高到了98.9%,有效地改进了网络异常检测的性能.     

基于知识蒸馏的不平衡数据下入侵检测方法研究

基于深度学习的网络入侵检测模型面临模型结构复杂、部署效率低及流量数据类别不平衡的问题.针对这些问题,提出了1种结合知识蒸馏和类别权重焦点损失的网络入侵检测方法.该方法以精度高、参数量较多的入侵检测模型作为教师模型,与小型学生模型生成蒸馏损失;引入增加类别权重的焦点损失函数作为学生损失;结合蒸馏损失与学生损失生成总的损失函数优化学生模型.实验结果表明,该方法性能相较于非蒸馏模型在各项指标上均有一定提升.     

基于改进YOLOv3的轻量化神经网络算法研究

对于小样本数据集,YOLOv3神经网络框架在训练时存在特征利用率和特征传递效率低的问题,其网络性能得不到充分利用,为解决这些问题,该研究提出基于改进的YOLOv3轻量化神经网络模型,该网络模型将YOLOv3基础框架中的ResNet残差网络结构改为DenseNet的密集串联结构,并将多尺度输出结构删减到2个.在自制麻将子数据集上的实验表明,改进YOLOv3的神经网络的每秒计算帧数(FPS)对比改进前提升了119.03%,预测目标与实际对象交并比(IoU)在0.5以上的平均检测精确度(mAP-50)提升了2.45%.将改进模型推广至开源数据集Kaggle以及Caltech上,改进模型相比原模型的每秒计算帧数分别提升了124.39%、140.05%,预测目标与实际对象交并比在0.5以上的平均检测精度分别提升了12.5%、5.34%.