适用于样本分布差异的迁移学习调制识别算法

针对大量有标签样本的数据驱动模型方法存在数据分布不完备问题,结合实际环境中通信信号样本差异大的特点,提出一种对抗域适应迁移算法.通过类判别器和域判别器对抗训练,使特征提取器能够提取到既具有类差异性又具有域不变性的特征.以无监督学习方式对目标域信号进行分类,以提升调制识别算法在实际环境中拟合存在分布差异数据集的自适应能力.对实际信号样本集中调制方式相近的9类调制信号在不同信噪比条件下进行测试,域适应迁移方法通过对抗训练有标签高信噪比的源域样本和无标签低信噪比的目标域样本,结果发现该算法的平均识别准确率较以往直接训练的平均识别准确率大幅提升.     

基于局部对抗训练的命名实体识别方法研究

命名实体识别研究中,数据集内普遍存在实体与非实体,实体内部类别间边界样本混淆的问题,极大地影响了命名实体识别方法的性能.提出以BiLSTM-CRF为基线模型,结合困难样本筛选与目标攻击对抗训练的命名实体识别方法.该方法筛选出包含大量边界样本的困难样本,利用边界样本易被扰动偏离正确类别的特性,采用按照混淆矩阵错误概率分布的目标攻击方法,生成对抗样本用于对抗训练,增强模型对混淆边界样本的识别能力.为验证该方法的优越性,设计非目标攻击方式的全局、局部对抗训练方法与目标攻击全局对抗训练方法作为对比实验.实验结果表明,该方法提高了对抗样本质量,保留了对抗训练的优势,在JNLPBA、MalwareTextDB、Drugbank三个数据集上F1值分别提升1.34%、6.03%、3.65%.     

基于k-WTA的对抗样本防御模型研究

为提高图像分类神经网络的鲁棒性,提出一种基于k-WTA的对抗样本防御模型Att-k-DefGAN.模型在Rob-GAN的基础上做出改进,并利用k-WTA激活函数的不连续性与模型训练中的对抗攻击预处理形成对抗,进一步提高分类神经网络的鲁棒性.实验结果表明,在CIFAR-10数据集和ImageNet子集上,Att-k-De...     

基于共享表示的跨领域中文模糊限制语识别

为充分利用源领域的标注数据,减少目标领域的标注代价,提出一种基于共享表示的跨领域模糊限制语识别方法.该方法利用双向长短期记忆网络,通过参数共享机制交替地学习源领域和目标领域的训练数据,同时引入对抗学习,把各领域私有特征从共享特征中剥离,从而获得不同领域间的共享语义表示.在中文生物医学和维基百科两个领域上的实验表明,基于共享表示的方法在跨领域中文模糊限制语识别性能上明显优于基于实例和基于特征的迁移学习方法.     

基于可逆网络的对抗样本防御算法的设计与研究

深度学习模型极容易受到对抗样本的攻击。为了提高模型的鲁棒性，提升相关技术在现实生活中应用的安全性，提出一种轻型可逆网络(lightweight reversible network, LRNet)用于有效去除对抗样本中的对抗扰动。首先，将哈尔小波变换与可逆网络相结合，获得更丰富的特征；其次，将特征通道分离，利用干净样本的高低频特征指导学习，从随机数中重采样替换高频信息去除对抗扰动；再次，提出特征分离模块，去除非鲁棒特征，提高分类准确率。结果表明：LRNet防御模型能显著提高防御准确率，其分类准确率在MNIST,CIFAR-10数据集上较防御模型ARN分别从91.62%和67.29%提升到97.65%和78.55%;模型的参数大小降低至0.48 MiB,是APE-GAN模型的20%;防御模型的迁移能力得到极大提高，为对抗样本的防御提供了一种新方法。     

一种基于彩票迁移的稀疏网络植株病虫害识别模型

植株病虫害的识别能够有效地提高农作物产量,当前数据驱动的深度植株病虫害识别方法需要大量的有标签数据,导致现有方法难以很好地识别少样本的新病虫。且基于深度学习的方法需要对大量的参数进行训练,难以削减计算开销。研究设计一种基于彩票迁移的稀疏网络植株病虫害识别模型:定义深度网络的彩票迁移假设,利用压缩策略构建稀疏网络,识别迁移源域的本质知识,提高深度网络的迁移效率;然后,设计深度彩票迁移算法,训练植株病虫害深度识别模型,解决少样本病虫识别调整;最后,在典型的通用数据与植株病虫害识别数据集上,验证基于彩票迁移的深度植株病虫害识别模型能高效迁移源域的本质知识。在PlantVillage数据集上,对植株病虫害识别准确率为97.69%,且所需训练的参数只有原始网络的约30%。     

司法机器阅读理解的优化策略研究

针对司法领域阅读理解数据集缺乏、现有模型在不可回答问题样本和噪声样本上表现不佳等问题,提出了三种优化策略.首先,采用通用领域阅读理解数据集对RoBERTa-wwm模型进行预训练;然后,采用基于UniLM的问句生成模型生成不可回答问题样本,扩充已有训练集;最后,在微调阶段采用对抗训练算法对模型进行优化,增强模型的鲁棒性....     

一种应用于脑电情感识别的迁移学习框架

脑电信号作为最能表征人体情绪的信号，正在成为情感识别的主流信号源.利用迁移学习可以克服生理信号源域、目标域间存在分布差异的问题.传统迁移学习由于缺少对样本、特征的选择过程，会对迁移效果产生负影响，致使识别率较低.为提升迁移效果，在样本、特征两个方面对迁移数据进行优化.介绍了一种基于Like值的实例筛选方法，以及基于粒子群优化的自动特征选择方法，并使用联合分布适配(joint distribution adaptation, JDA),提出了一种应用于情感识别的迁移学习框架.在SEED数据集上构建了两个迁移任务并进行验证，结果表明，该框架可以有效提升迁移效果，提高跨域情感识别准确率.     

基于RoBERTa和对抗训练的中文医疗命名实体识别

BERT(Bidirectional Encoder Representations from Transformers)和神经网络模型相结合的方法目前已被广泛应用于中文医疗命名实体识别领域。但BERT在中文中是以字为粒度切分的，没有考虑到中文分词。而神经网络模型往往局部不稳定，即使微小的扰动也可能误导它们，导致模型的鲁棒性差。为了解决这两个问题，提出了一种基于RoBERTa(A Robustly OptimizedBERTPre-trainingApproach)和对抗训练的中文医疗命名实体识别模型（ATRBC）。首先，使用RoBERTa-wwm-ext-large(ARobustlyOptimizedBERTPre-training Approach-whole word masking-extended data-large)预训练模型得到输入文本的初始向量表示；其次，在初始向量表示上添加一些扰动来生成对抗样本；最后，将初始向量表示和对抗样本一同依次输入双向长短期记忆网络和条件随机场中，得到最终的预测结果。在CCKS 2019数据集上的实验结果表明，AT-RBC模型的F1值达到了...     

基于GANs-LightGBM的序贯三支异常用户检测研究

针对网络中异常数据类别分布的不平衡性和异常用户检测代价的敏感性,在序贯三支决策框架下,提出了一种基于生成式对抗网络和集成学习模型的异常用户检测方法.利用生成式对抗网络(generative adversarial nets,GANs)模型对异常/非异常数据进行类别平衡,并在多层次多粒度的特征空间下训练LightGBM模型,持续地处理不确定域的样本以识别异常用户.实验结果表明,与传统的机器学习算法相比,该方法在异常用户检测中具有较高的AUC值和较低的检测代价.     

两阶段目标类指引的行人检测对抗补丁生成算法

针对缘于深度学习模型脆弱性的对抗样本攻击这一国内外热门研究课题，以无人驾驶等实际应用为背景，探讨了针对Yolo-v2行人检测系统的对抗攻击方法;基于Yolo-v2对行人目标的预测置信度和分类概率，提出基于两阶段目标类指引的行人检测对抗补丁生成算法。创新性地提出了目标类指引的攻击策略，通过先后实施目标类指引的对抗补丁生成和对抗补丁增强，有效引导了对抗补丁在训练生成过程中的收敛方向，以此逐步提升对抗补丁攻击行人检测系统的能力;在Inria数据集上实现了79个目标类指引的对抗补丁生成训练与测试。结果表明，算法以“teddy bear”为目标类生成了攻击效果最佳的对抗补丁，行人检测交并比(IOU)指标可达0.043 5，显著优于对照算法的0.244 8。     

双重对抗无监督域自适应绝缘子检测算法

绝缘子检测在输电线路智能巡检中具有重要的应用价值.基于深度学习的绝缘子检测是一类常用的方法.然而,在某些情况下仅能获取某一类型绝缘子数据,用其训练得到的模型直接应用到跨域绝缘子检测,性能会急剧下降.为此,提出一种双重对抗的无监督域自适应绝缘子检测算法.具体地,为缓解绝缘子图像背景复杂对检测性能带来的影响,设计了一种混淆判别机制.在该机制中,输入两种不同类型的绝缘子图像到两个不同的判别器中进行分类,再通过对抗训练将两种绝缘子进行交叉分类以学习到域不变特征.此外,通过最大最小化目标域的两个分类结果分别优化判别器和特征提取器,减轻不同类型绝缘子外观差异较大的问题.大量的实验证明了提出方法的有效性.     

基于联合对抗训练的鲁棒度量迁移

迁移度量学习旨在从强大且可靠的距离度量中迁移知识来改善目标度量的效果,这些度量往往来自于学习目标相关的任务.现有的迁移度量学习算法仅关注于如何迁移知识,而这些知识容易过拟合到源域中.首先研究如何在源域中训练一个适合于迁移的源域度量,然后设计了一种通用的深度异质迁移算法来进行高效的迁移学习.值得注意的是,将源域度量以联合对抗学习的方式进行训练,再以深度神经网络的方式将其参数化表示并对其进行迁移.迁移中通过表征模仿的方式来学习源域度量中的知识,这种方式允许源域和目标域中的知识来自于异质域.此外,严格限制目标度量网络的大小,使得目标网络更够进行高效的推理计算.在人脸识别数据集上的实验展现了本方法的有效性.     

基于SNGAN的黑盒恶意软件对抗样本生成方法

基于变分自编码器的协同推荐算法可以帮助解决推荐算法中的稀疏性问题，但是由于变分自编码器模型先验是单一的高斯分布，使得表达趋向简单和平均，存在拟合不足的问题.高斯混合变分自编码器模型拥有更加复杂的先验，相对于原本的变分自编码器模型，它对于非线性的任务有着更强的适应性和效果，已被广泛应用于无监督聚类和半监督学习.受此启发，本文研究基于高斯混合变分自编码器模型的协同过滤算法.本文基于Cornac推荐系统比较框架设计实验，将高斯混合变分自编码器改进后用于协同推荐任务中，利用生成模型重新生成的用户-物品矩阵进行推荐.在推理模型和生成模型中分别用一层隐藏层提取深层特征增加模型鲁棒性，并且使用提前停止的训练策略以减少过拟合.本文在多组公开数据集上进行实验，与其他推荐算法在NDCG和召回率指标上进行对比.实验证明，改进的基于高斯混合变分自编码器模型的协同过滤算法在推荐任务中表现优异.     

基于多尺度密集特征融合的生成式对抗除雾网络

在真实雾天场景下,针对除雾网络无法去除远处雾气、天空区域容易出现噪声的问题,提出了一种基于多尺度密集特征融合的生成式对抗除雾网络,并采用制作的合成雾天数据集进行对抗训练.首先,对除雾网络进行设计,构建了网络模型;其次,从合成晴朗天气图像中利用深度标签生成逼真的雾天数据集,以适用于真实雾天除雾领域;最后,在真实雾天数据集上测试,选取近几年具有代表性的6种基于深度学习的除雾网络进行主观视觉效果,并借助除雾领域常用的无参考图像质量评价指标进行客观分析.研究结果表明:提出的除雾网络在真实场景下的除雾效果较其他网络有显著提升,主观视觉效果明显优于对比的除雾网络,在无参评价指标上综合表现优于其他除雾网络.     

无监督的句法可控复述模型用于对抗样本生成

针对使用句法可控的复述生成模型生成对抗样本时模型性能受限于复述平行语料的领域和规模的问题,提出仅需要单语语料训练的无监督的句法可控复述生成模型,用以生成对抗样本.采用变分自编码方式学习模型,首先将句子和句法树分别映射为语义变量和句法变量,然后基于语义变量和句法变量重构原始句子.在重构过程中,模型可以在不使用任何平行语料...     

基于深度学习的小样本流体机械故障诊断方法

主要开展了深度卷积生成对抗网络（DCGAN）在流体机械故障诊断方面的应用研究,建立了基于深度学习和迁移学习在小样本条件下的流体机械故障诊断方法.仿真实验结果表明：基于DCGAN生成的数据能涵盖原始数据的主要特征,可被用于对流体机械小样本故障诊断数据的扩充.结合迁移学习和深度学习的故障诊断方法,采用不同流体机械的运行数据对模型进行实验验证,结果表明：该模型解决了小样本训练中的过拟合问题,诊断准确率为98%~100%.     

基于可调节判别器的领域适应

当前基于对抗学习的领域适应(DA)对目标样本的适应性较差,导致目标域的预测精确度较低,为此提出基于可调节判别器的领域适应(A-DADA)算法.首先,利用两个判别器分类概率的距离作为权重应用到目标域对抗训练损失函数中,旨在减少已对齐目标样本对抗训练的次数同时增加未对齐目标样本的对抗训练次数;其次,将平方熵损失函数作为最小...     

一种利用年龄编辑改进年龄估计的方法

人脸年龄估计(face age estimation)作为一种新兴的生物特征识别技术,是计算机视觉中一个经典的学习问题.基于生成对抗网络(generative adversarial network,GAN)强大的数据生成能力,提出了一种利用年龄编辑改进年龄估计的方法,并通过分阶段联合训练年龄编辑网络StarGAN和年...     

利用对抗性边缘学习模型生成超分辨率图像

大部分基于卷积神经网络的图像超分辨率方法都是采用端到端的模式,这类图像超分辨率方法往往存在重构图像纹理边缘模糊、高频信息缺失的问题.为了改善该问题,在SRGAN(super-resolution generation adversarial networks)的基础上提出了一种基于对抗性图像边缘学习的深层网络模型,将图像边缘信息得到充分利用,来引导超分网络生成更加真实的高分辨率图像.该网络模型由两个生成对抗网络所组成,首先利用一个生成对抗网络来生成低分辨率图像所对应的高分辨率边缘特征图,然后再用高分辨率边缘特征图来约束和引导第二个生成对抗网络,使之重构出来的高分辨率图像纹理边缘更加清晰,更好地恢复图像边缘的高频细节.在Set5、Set14、BSD100、Urban100和Manga109基准测试集上的实验结果表明该算法重构出的高分辨率图像更加接近真实的图像,在峰值信噪比、结构相似度和感知指标上都有不错的表现.