融合对抗训练和胶囊网络的食品安全关系抽取模型

为解决食品安全领域关系抽取数据集体量小且关系种类复杂,普通网络模型无法充分进行特征学习的问题,提出了一种融合对抗训练和胶囊网络的食品安全领域关系抽取模型GAL-CapsNet。该模型使用双向长短期记忆网络提取文本序列的全局特征,并通过胶囊网络的动态路由机制获取高层次的局部特征,具有较强的特征提取能力,同时在嵌入层加入对抗训练提升模型的鲁棒性,从而有效提高了关系抽取任务的效果。在本文所用的食品安全领域数据集上的实验结果显示：对比其他深度神经网络方法,GAL-CapsNet在关系抽取任务中的精确率、召回率和F₁值均有明显提升,分别达到了85.91%、82.82%、84.33%,证明了模型在食品安全领域数据集上的有效性。     

基于可逆网络的对抗样本防御算法的设计与研究

深度学习模型极容易受到对抗样本的攻击。为了提高模型的鲁棒性，提升相关技术在现实生活中应用的安全性，提出一种轻型可逆网络(lightweight reversible network, LRNet)用于有效去除对抗样本中的对抗扰动。首先，将哈尔小波变换与可逆网络相结合，获得更丰富的特征；其次，将特征通道分离，利用干净样本的高低频特征指导学习，从随机数中重采样替换高频信息去除对抗扰动；再次，提出特征分离模块，去除非鲁棒特征，提高分类准确率。结果表明：LRNet防御模型能显著提高防御准确率，其分类准确率在MNIST,CIFAR-10数据集上较防御模型ARN分别从91.62%和67.29%提升到97.65%和78.55%;模型的参数大小降低至0.48 MiB,是APE-GAN模型的20%;防御模型的迁移能力得到极大提高，为对抗样本的防御提供了一种新方法。     

基于k-WTA的对抗样本防御模型研究

为提高图像分类神经网络的鲁棒性,提出一种基于k-WTA的对抗样本防御模型Att-k-DefGAN.模型在Rob-GAN的基础上做出改进,并利用k-WTA激活函数的不连续性与模型训练中的对抗攻击预处理形成对抗,进一步提高分类神经网络的鲁棒性.实验结果表明,在CIFAR-10数据集和ImageNet子集上,Att-k-De...     

基于语义分割的桥梁锈蚀病害识别对比分析

针对桥梁锈蚀数据难获取、锈蚀病害数据集小的问题，基于生成对抗网络(GAN)对桥梁锈蚀数据集进行扩增，并采用IS和K均值聚类算法验证其有效性.采用扩增后的数据集，按4∶1的比例划分为训练集和验证集，分别对U-Net网络和DeepLab-V3+网络进行训练，对比分析2种网络对于锈蚀分割的精度、召回率及F₁分数.结果表明，采用深度卷积生成对抗网络(DCGAN)生成虚拟数据集的IS值达到2.41,分类肘形图类别数为5,与原数据集吻合，可作为扩增数据集以提升模型泛化性；DeepLab-V3+网络模型在验证集上的精度为0.935,召回率为0.952,F₁分数为0.943,均显著高于U-Net网络模型.DeepLab-V3+网络在点状锈蚀区域连通与分割方面优于U-Net网络，并实现了片状锈蚀区域分割，为桥梁锈蚀精准识别与分割提供了技术支撑.     

基于卷积神经网络隐空间的虚拟对抗学习

对抗训练存在计算效率低的缺点,对此提出一种虚拟对抗学习的方法。在CIFAR-10和ImageNet(30)数据集上验证本方法,首先,建立阈值机制来挑选对抗源样本;然后,在对抗源样本的logits上添加扰动生成虚拟对抗样本,而非对抗源样本保持不变;最后,计算虚拟对抗样本和非对抗源样本的损失,通过反向传播更新网络权重。试验结果表明,与传统的对抗训练相比,本文方法在干净样本的测试精度上提升了大约7～14百分点,在扰动样本的测试精度上不亚于投影梯度下降(projected gradient descent, PGD)对抗训练的效果,尤其是在ImageNet(30)数据集上提升了4.62百分点。在训练效率上,与最慢的PGD对抗训练相比,本文方法的训练时间缩短了2/3左右。这些结果均证明了虚拟对抗学习既能提升对干净样本的预测精度,又能提高模型的鲁棒性;同时加快对抗训练过程,为对抗训练在工业环境的运用提供有效方法。     

采用生成对抗网络的金融文本情感分类方法

针对目前金融领域文本存在标注资源匮乏的问题,提出一种基于生成对抗网络的金融文本情感分类方法. 该方法以边缘堆叠降噪自编码器生成鲁棒性特征表示作为输入,在生成对抗过程中,通过向文本表示向量添加噪声向量再生成新样本,应用对抗学习思想优化文本特征表示. 在公开的跨领域情感评论Amazon数据集和金融领域数据集上进行实验,并与基准实验对比,结果表明,该方法在平均准确率上有显著提升.     

采用生成对抗网络的金融文本情感分类方法

针对目前金融领域文本存在标注资源匮乏的问题,提出一种基于生成对抗网络的金融文本情感分类方法.该方法以边缘堆叠降噪自编码器生成鲁棒性特征表示作为输入,在生成对抗过程中,通过向文本表示向量添加噪声向量再生成新样本,应用对抗学习思想优化文本特征表示.在公开的跨领域情感评论Amazon数据集和金融领域数据集上进行实验,并与基准实验对比,结果表明,该方法在平均准确率上有显著提升.     

基于DCGAN和改进YOLOv5s的桥梁表面缺陷检测识别

针对人工检测桥梁表面缺陷存在精度低、速度慢和漏检率高等问题,该文提出了基于深度卷积生成式对抗网络(deep convolutional generative adversarial networks,DCGAN)和改进YOLOv5s的桥梁表面缺陷检测识别模型.首先,通过DCGAN网络对自主采集的桥梁表面缺陷图像进行数据增强,建立每类缺陷样本数量较为均衡的数据集; 其次,在YOLOv5s模型基础上嵌入CBAM注意力机制模块,使模型将注意力集中于缺陷区域,从而提升图像分类的准确率; 最后,为验证所提方法的适用性,将包含4类桥梁表面缺陷的数据集进行训练与测试.实验结果表明:该文提出的模型在桥梁表面缺陷检测上的准确率为92%,相比其他深度学习模型具有更高的检测精度和鲁棒性.     

基于生成对抗网络的气缸套表面缺陷图像生成

针对气缸套缺陷检测中缺陷样本不足限制气缸套缺陷检测性能提升问题,采用基于生成对抗网络的气缸套表面缺陷检测算法.首先,为了保持缺陷图像中原有缺陷位置与特征不变,通过循环生成对抗网络模型学习有缺陷气缸套图像与正常图像的关系;其次,利用学习得到的模型对有缺陷气缸套图像进行风格迁移,即把有缺陷气缸套图像背景替换成无缺陷气缸套图像背景,实现对气缸套缺陷数据集的扩充与增强;最后,通过基于数据增强的RetinaNet网络模型对生成图像的有效性进行验证.试验结果表明,通过生成对抗网络生成的气缸套数据集可以提升缺陷检测性能,进一步证明了生成对抗网络在工业应用的可行性.     

基于对抗学习的讽刺识别研究

为了避免现有讽刺识别方法的性能会受训练数据缺乏的影响, 在使用有限标注数据训练的注意力卷积神经网络基础上, 提出一种对抗学习框架, 该框架包含两种互补的对抗学习方法。首先, 提出一种基于对抗样本的学习方法, 应用对抗生成的样本参与模型训练, 以期提高分类器的鲁棒性和泛化能力。进而, 研究基于领域迁移的对抗学习方法, 以期利用跨领域讽刺表达数据, 改善模型在目标领域上的识别性能。在3个讽刺数据集上的实验结果表明, 两种对抗学习方法都能提高讽刺识别的性能, 其中基于领域迁移方法的性能提升更显著; 同时结合两种对抗学习方法能够进一步提高讽刺识别性能。     

基于RoBERTa和对抗训练的中文医疗命名实体识别

BERT(Bidirectional Encoder Representations from Transformers)和神经网络模型相结合的方法目前已被广泛应用于中文医疗命名实体识别领域。但BERT在中文中是以字为粒度切分的，没有考虑到中文分词。而神经网络模型往往局部不稳定，即使微小的扰动也可能误导它们，导致模型的鲁棒性差。为了解决这两个问题，提出了一种基于RoBERTa(A Robustly OptimizedBERTPre-trainingApproach)和对抗训练的中文医疗命名实体识别模型（ATRBC）。首先，使用RoBERTa-wwm-ext-large(ARobustlyOptimizedBERTPre-training Approach-whole word masking-extended data-large)预训练模型得到输入文本的初始向量表示；其次，在初始向量表示上添加一些扰动来生成对抗样本；最后，将初始向量表示和对抗样本一同依次输入双向长短期记忆网络和条件随机场中，得到最终的预测结果。在CCKS 2019数据集上的实验结果表明，AT-RBC模型的F1值达到了...     

司法机器阅读理解的优化策略研究

针对司法领域阅读理解数据集缺乏、现有模型在不可回答问题样本和噪声样本上表现不佳等问题,提出了三种优化策略.首先,采用通用领域阅读理解数据集对RoBERTa-wwm模型进行预训练;然后,采用基于UniLM的问句生成模型生成不可回答问题样本,扩充已有训练集;最后,在微调阶段采用对抗训练算法对模型进行优化,增强模型的鲁棒性....     

基于改进MobileNet网络的人脸识别方法

针对轻量级卷积神经网络MobileNet应用于人脸识别实时性较差、准确率不高等问题，提出一种改进MobileNet的网络模型—MobileDeepViT。首先，鉴于MobileNet模型有效减少网络参数量特点，本网络以MobileNet为核心，构建具有7层MobileNetV2、3层特征提取层、1层标准卷积和点卷积的深度学习网络；其次，在人脸特征提取过程中引入DeepViT，使网络更有效学习人脸特征；最后，该网络与Inception＿ResNetV1和MobileNetV1在相同的数据集CASIA-WebFace上进行训练，在LFW测试数据集上对训练模型进行评估，并在相同条件下对同一人的不同照片进行欧式距离和实时性测试。实验结果显示：该网络在模型参数更小的情况下，准确率比后二者分别提升了0.21%和0.72%、欧式距离测试结果也比后二者更小，预测时间更短，表明改进后的模型参数量减少、实时性更好、精度和鲁棒性提高。     

融合边缘注意力的手写蒙古文字元数据增强方法

针对手写蒙古文字元数据集样本少且多样性差的问题，提出融合边缘注意力的条件手写蒙古文字元生成模型。模型在条件生成对抗网络的基础上引入了边缘注意力机制，使得数据生成模块对手写蒙古文字元边缘变化更加敏感，增加特征多样正则项在一定程度损失避免模式崩溃并使得生成样本更具多样性。在MNIST和手写蒙古文数据集进行了大量实验，结果表明提出模型样本增强效果优于GAN、CGAN，并且增强后的样本能够有效提升文字识别模型的性能。     

基于多尺度密集特征融合的生成式对抗除雾网络

在真实雾天场景下,针对除雾网络无法去除远处雾气、天空区域容易出现噪声的问题,提出了一种基于多尺度密集特征融合的生成式对抗除雾网络,并采用制作的合成雾天数据集进行对抗训练.首先,对除雾网络进行设计,构建了网络模型;其次,从合成晴朗天气图像中利用深度标签生成逼真的雾天数据集,以适用于真实雾天除雾领域;最后,在真实雾天数据集上测试,选取近几年具有代表性的6种基于深度学习的除雾网络进行主观视觉效果,并借助除雾领域常用的无参考图像质量评价指标进行客观分析.研究结果表明:提出的除雾网络在真实场景下的除雾效果较其他网络有显著提升,主观视觉效果明显优于对比的除雾网络,在无参评价指标上综合表现优于其他除雾网络.     

基于CT-GAN的半监督学习窃电检测方法研究

针对电网公司获取有标签数据成本高、难度大,而获取的无标签数据难以训练有效窃电检测模型的问题,提出了在少量有窃电标签数据场景下基于联合训练生成对抗网络（Co-training Generative Adversarial Networks, CT-GAN）的半监督窃电检测方法.首先,探究了生成对抗网络及半监督生成对抗网络的原理与结构.其次,提出了采用Wasserstein距离取代JS（Jensen-Shannon）散度和KL（Kullback-Leibler）散度距离以解决生成对抗网络因梯度消失和模式崩溃原因导致的模型训练不稳定和生成数据质量低的问题,并构建了多判别器联合训练模型,避免了单个判别器分布误差高的问题,同时增强了GAN生成标签样本数据的能力,通过扩充标签样本数据集,提升了模型检测准确度和泛化能力.最后,采用爱尔兰电网数据集验证了该方法的准确性和有效性.     

一种基于GAN的多船轨迹预测方法

为更好地预测船舶密集水域多船会遇避碰场景中的船舶轨迹，基于生成式对抗网络思想，提出一种多船轨迹预测模型——Vessel-GAN。针对船舶轨迹特点，Vessel-GAN模型基于时序卷积网络的多船历史轨迹编解码、船舶交互特征提取、终点信息引导和避碰损失函数等技术，通过在历史轨迹上的对抗训练，实现了能够拟合船舶航行行为数据分布的多船预测轨迹生成。基于琼州海峡近5000万条由AIS数据构建的船舶交互数据集的实验表明，相较Social-GAN基准模型，Vessel-GAN在计算速度方面提升了36%,平均位移精度、终点位移精度分别提升28%、41%,生成的多船预测轨迹更加符合船舶真实行为特征，且具有更好的预测实时性和稳定性。     

改进YOLOX在行人目标检测中的应用研究

针对现有算法在行人目标检测中存在精度低、速度慢、算法鲁棒性有限的问题，提出了一种基于深度神经网络目标检测算法YOLOX-L改进的行人目标检测算法YOLOX-H.使用改进型的主干特征提取网络HarDNet85替换原有的CSPDarkNet53,新的主干特征提取网络相较于原有的网络具有更强的特征提取能力以及更快的速度，同时提升了网络检测较大目标的能力.在HarDNet85卷积神经网络中引入了Softplus激活函数提升算法的检测精度，构建了CityPersons、PRW、ETHZ和MOT17多场景的联合数据集，以提升网络对于行人目标检测的鲁棒性.在联合数据集上的实验表明：YOLOX-H相比于YOLOX-L,每秒检测帧数(FPS)提高了32.95%,检测精度提高了3.1%,大目标检测精度提高了6.9%.     

基于轻量化的高分辨率鸟群识别深度学习网络

针对机场低空区域鸟类对飞行器起飞和降落带来的安全问题,提出一种轻量型高分辨率的鸟群场景识别网络,用于实现鸟群的计数和定位．该网络以高分辨率网络为基础框架,使用非对称卷积和Ghost模块对网络进行轻量化,并在网络的第四阶段引入联合金字塔上采样模块,提升模型对多尺度特征的融合能力．进一步提出联合使用负样本抑制损失函数,用于监督网络的训练过程,使网络更加关注于鸟类目标．将所提出的模型在鸟群数据集上进行实验,实验结果表明：本方法可以有效对鸟群进行计数和定位,并在模型性能和模型参数量上达到了平衡．为进一步验证所提出方法的有效性,在两个人群数据集(Shanghai Tech,UCF-QNRF)上进行训练与测试,证明其具有较高的准确性和鲁棒性．     

基于静态路由分组胶囊网络的文本分类模型

近年来,随着胶囊网络的广泛研究,其在图像、语言等领域取得了重大进展.但胶囊网络存在参数多、训练时间长的缺点.分组反馈路由机制是一种称为分组路由的监督路由策略,该策略将胶囊平均地分成若干组,胶囊局部共享转换权重,从而减少路由参数和计算复杂度,在图像分类领域取得较好效果.本文将胶囊分组方法运用于文本分类任务中,再引入胶囊压缩、静态路由机制,提出了一种新的文本分类模型CapsNet GSR.该模型通过胶囊分组在提取文本局部信息的同时减少参数,利用胶囊压缩和静态路由机制,进一步提高胶囊质量、降低参数数量.在20 news文本分类数据集上的实验证明,其在参数数量和训练时间上有明显减少.在AG’s news、TREC和20 news数据集上的实验表明,该模型在准确率上也有所提高.