基于VGG-F动态学习模型的苹果病虫害识别

为了提高自然环境下苹果病虫害的识别准确率和识别效率,提出了具有动态学习特征的VGG-F苹果病虫害识别模型。首先,依据常见的苹果病害和虫害类型构建图像数据集,同时采用Retinex算法对数据集中的含雾图像进行增强处理;然后选择网络层数较少的VGG-F网络模型作为迁移学习对象,并依据数据样本特性对重训练过程进行学习率动态调整,以及基于试验对比选取最佳动量值;最后,利用数据集对三种不同模型进行重训练和识别效果对比测试。数值测试结果表明,相比于原始VGG-F模型和深层模型VGG-19,文中模型将苹果病虫害识别准确率分别提升了5%和0.63%,且该模型的重训练时间最短,从而验证了文中苹果病虫害识别模型的有效性。     

基于迁移学习和支持向量机的白细胞分类

针对人工镜检分类白细胞准确率和效率低的问题,基于深度学习和机器学习算法,提出了一种基于迁移学习和支持向量机的白细胞分类方法.首先对迁移模型进行微调训练,其次用微调训练后的迁移模型进行特征提取,然后将特征输入至神经网络和支持向量机中进行训练,最后通过神经网络和支持向量机的组合分类器对白细胞进行分类.实验结果表明,白细胞分类准确率由最初微调训练的83.26％,随着迁移模型的优化提升为90.43％,最后通过组合分类器再次提升为93.52％,可以在临床实践中帮助医生提高诊断的准确率和效率.     

基于对抗学习的讽刺识别研究

为了避免现有讽刺识别方法的性能会受训练数据缺乏的影响, 在使用有限标注数据训练的注意力卷积神经网络基础上, 提出一种对抗学习框架, 该框架包含两种互补的对抗学习方法。首先, 提出一种基于对抗样本的学习方法, 应用对抗生成的样本参与模型训练, 以期提高分类器的鲁棒性和泛化能力。进而, 研究基于领域迁移的对抗学习方法, 以期利用跨领域讽刺表达数据, 改善模型在目标领域上的识别性能。在3个讽刺数据集上的实验结果表明, 两种对抗学习方法都能提高讽刺识别的性能, 其中基于领域迁移方法的性能提升更显著; 同时结合两种对抗学习方法能够进一步提高讽刺识别性能。     

视觉车辆识别迁移学习算法

针对采用大样本离线训练的车辆识别分类器在新场景中性能显著下降的问题,提出了一种具有样本自标注能力的车辆识别迁移学习算法,并采用概率神经网络(probability neural netw ork,PNN)进行分类器训练.首先,提出一种基于多细节先验信息的样本标注策略,融合复杂度、垂直平面和相对速度等先验信息实现新样本的自动标注;然后,充分利用PNN训练速度快以及增加新样本时只需分类器进行局部更新的特点,将其引入到分类器训练模型中,取代传统机器学习算法中的Adaboost分类器.实验结果表明:该算法在新场景下的新样本标注准确率高达99.76%.通过迁移学习,新场景的车辆识别分类器性能较通用分类器在检测率和误检率指标上均有显著提升.     

一种基于协同训练半监督的分类算法

为提高少量样本情况下分类器的性能,提出一种基于多分类器协同的半监督样本选择方法,利用未标注样本实现样本增强,提高分类器泛化能力.依靠多分类器的互相监督和多分类器标签一致的原理,将已标记样本作为训练集,利用SVM和RF两个分类器协同训练,多分类器的类别标签和确定度值作为约束条件,从未标记样本集中筛选出最有代表性的样本构成增强样本集,以准确率为评价标准,验证本算法对分类器泛化性能的影响.本算法在手写数字数据集(Mnist字符库)和Landsat土壤数据集上测试,实验结果表明相比少量原始训练样本构建的分类器,增强样本构建分类器预测的全部类别准确率都得到提升.两个数据集的总体准确率分别提升5.97%和7.02%,Mnist数据集中数字5这类准确率提升最高(提升11.9%,从79.3%到91.2%),Landsat土壤数据集中土壤3这一类准确率提升最明显(提升15.8%,从73.5%到89.3%),结果证明了该算法显著提高了分类器的泛化性能.同时与经典的KNN、Co-training和Co-forest算法对比,所提出的算法能够最大限度地利用未标记样本信息,具有最好的精度表现,证明了该研究提出算法的优越性.     

训练过程中使用支持集信息的单样本学习算法

单样本学习的目的是利用一个包含大量训练样本的源类别数据集以及每个类别只包含一个训练样本的目标类别数据集来构建一种学习算法,使得算法能够对目标类别空间中的样本进行准确分类.已有的单样本学习算法主要是先利用源类别数据来训练模型,然后在测试时将目标类别训练数据作为支持集来实现对未标注样本的分类,因此在训练时没有有效地利用支持集的信息.为此提出一种在训练阶段和测试阶段同时利用支持集信息的单样本学习算法,基本思想是利用孪生神经网络构建模型并在训练时加入支持集信息,即让不同类别的支持集样本之间的相似度尽可能小.在Omniglot数据集和满文识别问题上的实验结果表明,该算法能取得较好的识别准确率.     

基于注意力机制归纳网络的小样本关系抽取模型

针对小样本关系抽取问题,提出一种基于注意力机制的归纳网络.首先,利用归纳网络中的动态路由算法学习类别表示;其次,提出实例级别的注意力机制,用于调整支持集,并获取支持集与查询集样本之间的高级信息,进而获得与查询实例更相关的支持集样本.该模型很好地解决了训练数据不足时如何进行关系抽取的问题.在小样本关系抽取数据集FewRel上进行实验,得到的实验结果为：5-way 5-shot情形下准确率为(88.38±0.27)%,5-way 10-shot情形下准确率为(89.91±0.33)%, 10-way 5-shot情形下准确率为(77.92±0.44)%, 10-way 10-shot情形下准确率为(81.21±0.39)%.实验结果表明,该模型能适应任务并且优于其他对比模型,在小样本关系抽取中取得了优于对比模型的结果.     

基于神经耦合模型的异构词法数据转化和融合

为了扩大人工标注数据的规模, 从而提高模型性能, 尝试充分利用已有的异构人工标注数据训练模型参数。将Li等2015年提出的耦合序列标注方法扩展到基于BiLSTM的深度学习框架, 直接在两个异构训练数据上训练参数, 测试阶段则同时预测两个标签序列。在词性标注、分词词性联合标注两个任务上进行大量实验, 结果表明, 与多任务学习方法和传统耦合模型相比, 神经耦合模型在利用词法异构数据方面更优越,在异构数据转化和融合两个场景上都取得更高的性能。     

基于MobileNet和迁移学习的微带青烟叶图像识别

为了准确地挑选出微带青烟叶，提出了基于MobileNet和迁移学习的微带青烟叶图像识别方法.首先收集烟叶图像建立样本数据集；其次，对在ImageNet数据集上训练好的MobileNet进行微调，以使其适应烟叶图像识别；最后，基于迁移学习方法利用烟草样本训练集对微调后的MoblieNet模型进行训练，从而准确识别微带青烟叶.     

基于深度学习的虚拟到现实车道保持控制

深度学习由于其强大的非线性拟合能力,已经被广泛应用于无人驾驶控制器训练领域.然而,由于其训练过程需要大量标注数据,耗费大量人力物力,且人为采集的数据很难覆盖危险工况,导致训练的模型泛化能力较差,影响了深度学习控制器的性能提升.本研究提出一种从虚拟世界采集样本,将训练模型向真实世界泛化的端对端卷积神经网络(CNN)控制器训练框架.为缩小虚拟和真实世界的差距,本研究以语义分割图像作为媒介,将虚拟和真实图像分别转化为语义分割图像用于训练和测试.结果表明,虚拟到现实训练得到的控制器可以较好地跟随道路变化趋势,经权值微调后预测输出与人类驾驶员操作相近,最大平均绝对误差和均方根误差分别为1.693 9°和2.885 0°,平均绝对百分比误差在5%以内.     

基于孪生神经网络的小样本目标检测综述

目标检测是计算机视觉的基础任务之一，其主要任务是对图像中的目标进行分类和定位。小样本目标检测的目的就是利用极少数的训练样本实现对目标的检测，从而减少繁杂的标注工作，并实现在只有少量样本场景下的应用。现有的小样本目标检测方法主要包括基于孪生神经网络的方法和基于微调的方法，这些方法通过利用现有的包含大量样本的基类数据集和包含少量样本的小样本数据集的训练，使模型实现对小样本类别的分类和定位。重点调研了基于孪生神经网络的双分支小样本目标检测方法，简要介绍了基于微调的小样本目标检测方案，分析了这些方案的优缺点，指出现有的小样本目标检测方案虽不成熟，模型精度有待提升，性能评估方案也有待完善，但却有着十分广阔的应用前景，未来若能通过深入研究解决小样本目标检测的现有问题，其精度必将赶超传统目标检测。     

结合主动学习与关系图卷积神经网络的社交机器人检测

社交机器人一直在应用中不断发展，并且为了逃避现有的检测方法，变得更加先进和复杂，较大地影响了原有部分社交机器人检测方法的效果.检测社交机器人成为了一项漫长而又艰巨的工作.在社交机器人检测领域中，目前存在着已公开相关数据集较少的情况，需要人工标注大量的数据.本文提出了一种结合主动学习与关系图卷积神经网络(RGCN)的检测方法——ALRGCN,用以解决人工标注大量数据成本较高的问题.其主要思路是利用主动学习方法来扩充标记数据集，以最大化人工标注的价值.主动学习利用种子选择算法构建初始训练集以及不确定性采样方法筛选出较高信息熵的样本，交由分类模型进行训练，旨在通过专业人员的经验来人工标注一些分类器难以分类的数据.鉴于社交机器人通常以集群的形式出现，本文引入了RGCN来捕捉其网络结构特征.RGCN可以有效地分析节点及其相邻节点的属性，进而帮助该节点进行分类.实验在TwiBot-20数据集上进行，通过对比进行使用的基线实验，ALRGCN在F1上取得了2.83%的提升.实验结果证明，ALRGCN在标注样本更小的情况下可以更有效地检测出社交机器人.     

基于深度学习与数据增强技术的小样本岩石分类

在油气勘探中,利用深度学习技术对岩石进行识别与分类能极大提高工作效率。岩石采样并制作样本图像费时费力,因此岩石样本通常较少。有鉴于此,基于深度学习技术设计一个新的神经网络模型MyNet,该模型能对小样本进行学习并完成岩石样本的分类。使用数据增强技术通过Python编程将314张岩石样本扩充成28 272张图像,为了充分利用现有数据,取其中的27 384张作为训练集,剩余888张作为测试集。将数据分别导入MyNet、ResNet50、Vgg16进行训练和测试。实验结果表明,加载、不加载预训练参数的ResNet50、Vgg16的岩石分类结果因受有无迁移学习影响会有所不同;MyNet的总体分类准确率为75.6%,均优于有无迁移学习的ResNet50、Vgg16,且MyNet、ResNet50、Vgg16所需训练的参数量分别为919 278、25 503 912、138 357 544,显然,MyNet模型的复杂度与训练代价明显低于其他对比模型,但性能最优,说明新模型应用于小样本的岩石分类可行有效且经济安全,更容易推广应用。     

基于深度卷积神经网络的胡萝卜外观缺陷分类实现

本文介绍了利用深度卷积神经网络对胡萝卜外观缺陷进行分类的方法。由传送带、光源、相机、计算机和气动机构组成视觉分拣系统,采集了外观无缺陷以及存在开裂、分枝和高刺缺陷的胡萝卜样本图片。对样本进行标注和数据增广操作,基于样本对深度卷积神经网络模型进行了训练,最终模型在测试集上达到91.6%的分类准确率。本研究对于提升胡萝卜分拣效率降低人工成本具有重要意义。     

基于迁移学习的小样本轴承故障诊断方法研究

针对实际应用中训练样本严重不足的问题,提出了一种改进迁移学习方法,将模型在源域上学习的故障诊断知识迁移至目标域,并将其用于小样本轴承故障诊断研究。采用全局均值池化层代替卷积神经网络中的全连接层进行分类输出,减少了网络的待训练参数量。采用预训练微调的迁移学习方法,使用数量充足的源域样本来训练网络,避免了数据不足导致的过拟合现象。将网络结构和参数迁移至目标域后,微调较深层的网络参数,使得网络适应目标域样本的数据分布。在凯斯西储大学轴承数据集和实验室轴承数据集上进行了迁移学习实验和轴承分类诊断,结果表明:在跨工况和跨型号的情况下,仅使用1%目标域训练集数据进行微调时,所使用的方法获得了92.25%的平均分类准确率。所提方法完成了小样本下的滚动轴承故障迁移诊断任务,对迁移学习理论在轴承故障诊断中的研究应用具有一定价值。     

基于深层迁移学习的DR胸片肺结核病灶检测

针对基于传统机器学习方法设计的DR胸片肺结核检测器存在着泛化能力不强,实际检测精度低等问题,提出了一种基于Focal Loss的深度学习检测方法Tuberculosis Neural Net(TBNN).医学图像的特殊性,存在带标注的数据量小导致无法充分训练深层网络模型等问题.该方法利用肺炎和肺结核同为呼吸道感染疾病且在DR胸片上有相似表征的特点,基于迁移学习原理训练特征提取子网络,减少肺结核胸片样本不足对模型训练造成的影响.首先在大型的肺炎胸片数据集上训练特征提取网络,以获取DR图像中丰富的深层图像语义信息,然后使用样本较少的肺结核数据集微调网络参数,并将多层卷积的输出作为TBNN分类子网络的输入,得到基于DR胸片的肺结核病灶检测模型.实验结果表明,该方法生成的检测模型在分类精度和性能上均优于基于传统机器学习的肺结核检测器.在同等训练数据量和训练周期下,模型性能高于其他采用传统数据增强方法的深层网络肺结核检测算法,且能标识病灶区域,准度上有不低于放射科阅片医生的表现.     

基于提示学习的文本隐式情感分类

随着监管不断加强，人们表达方式逐渐由直白向隐晦演进，情感分析任务变得更为困难。针对用于情感分析的预训练语言模型和微调阶段模型在处理包含隐式情感文本时遇到的巨大困难，本文提出了一种基于提示学习模型（一种弥合了预训练模型和微调阶段模型的模型）和类别差异化损失的方法ImplicitPrompt，将隐式的情感显式化，区分不同情感标签的距离，提升隐式情感分类的准确率。在英文方面级情感分类标准数据集上进行实验的结果表明，本文模型在标准监督设置下和低资源设置下均能在文本隐式情感分类中取得最佳效果。     

基于联邦迁移学习的应用系统日志异常检测研究

迄今为止，基于日志的异常检测研究已经取得了很多进展，然而，在现实条件下仍旧存在两个挑战：（1） 是日志数据通常以“数据孤岛”形式储存在不同的服务器上，单一公司或组织的日志数据中异常样本量不足，且异常模式较为固定，很难通过这些数据训练出一个准确率高的检测模型. 为了解决这个问题，将不同来源的日志数据整合成更大的数据集可以提高模型训练的效果但可能会在数据传输过程中产生日志数据泄露问题；（2） 是不同应用系统类型的日志数据通常在结构和语法上存在差异，简单地整合并用于训练模型效果不佳. 基于以上原因，本文提出一种基于联邦迁移学习的日志异常检测模型训练框架LogFTL，该框架利用基于匹配平均的联邦学习算法，在保证客户端数据隐私安全的前提下于服务器聚合客户端的模型参数形成全局模型，再将全局模型分发给客户端并基于客户端的本地数据进行迁移学习，优化客户端本地模型针对自身常见异常行为的检测能力. 经过实验表明，本文提出的LogFTL框架在联邦学习场景下效果超过了传统的日志异常检测方法，同时也证明了该框架中迁移学习的效果.     

基于公共特征空间的自适应情感分类

针对情感分类这一项从文章或句子中得到观点态度的任务,常规情感分类模型大多需要耗费大量人力获取标注数据.为解决某些领域缺乏标注数据,且其他领域分类器无法在目标领域直接使用的现状,设计了一种新颖的基于构建公共特征空间方法,使分类模型可从有标注领域向无标注领域进行迁移适应,减少人工标注的成本开销,实现情感分类的领域自适应.该方法以大规模语料下预训练的词向量信息作为以词为元素的特征,在同种语言中表达情感所采用的句法结构相似这一假设前提下,通过对领域内特有的领域特征词进行替换的方式构建有标注数据集与无标注数据集基本共有的公共特征空间,使有标注数据集与无标注数据集实现信息共享.以此为基础借助深度学习中卷积神经网络采用不同尺寸卷积核对词语不同范围的上下文特征进行抽取学习,进而采用半监督学习与微调学习相结合的方式从有标注数据集向未标注数据集开展领域自适应.在来自京东与携程共5个领域的真实电商数据集上进行实验,分别研究了领域特征词选择方法及其词性约束对领域间适应能力的影响,结果表明:相较于不采用领域适应的模型,可提升平均2.7%的准确率;且在来自亚马逊电商的公开数据集实验中,通过与现有方法进行对比,验证了该方法的有效性.     

贫数据中基于模型自训练的空气处理设备故障诊断

针对空气处理设备（AHU）故障贫数据,基于深度置信网络（DBN）模型对4种特征选择算法进行对比研究,结果表明最大相关最小冗余算法的特征子集在诊断准确率及子集元素稳定性上表现最优。提出将DBN 嵌入自训练框架的故障诊断模型,发现DBN自训练的诊断准确率较单纯DBN最高可提升19.5%。提出均匀抽样及按比例抽样2种自训练伪标签抽样策略,二者的诊断准确率均随抽样数减小而增大,在不同抽样数中的最大差异为3.42%;在所有贫数据样本中,均匀抽样策略始终优于按比例抽样,诊断准确率最大相差1.39%,表明在故障标签匮乏时,采用均匀抽样策略及较小的抽样数有利于提升DBN自训练的诊断性能。