基于PPYOLOE的师生互助训练半监督目标检测网络

随着深度学习技术的发展,基于卷积神经网络的目标检测技术成为当前计算机视觉领域的研究热点之一.目前主流的目标检测算法依赖于监督学习方式,需要在大量有标注图像数据上训练网络,然而,无标签的数据易于获取,而有标签的数据收集起来通常很困难,标注也耗时和耗力．为了解决数据标注难以获取的问题,提出了教师学生互助训练的半监督目标检测(PPYOLOE-SSOD)算法．首先,同时训练一个学生模型和逐渐改进的教师模型,使用教师模型筛选高质量伪标签,将伪标签作为未标注图像的回归目标,指导学生模型训练,挖掘未标注图像的知识信息,为了减小参数传递的不稳定性,每次迭代学生模型使用指数移动平均方法更新教师模型参数;此外,引入不同种类的半监督数据增强方法来增强网络的抗干扰能力;最后,针对无标注数据的学习,新增无监督学习分支,使用密集学习方式对模型预测得到的特征进行处理,通过对教师模型预测的分类特征排序,自动选择高质量特征作为教师模型生成的伪标签,从而避免了繁琐的伪标签后处理,提升网络的精度和训练速度．在MSCOCO数据集上,通过使用半监督学习方法,PPYOLOE在1%、5%、10%的标注数据集上分别得到了1.4%、1...     

基于神经耦合模型的异构词法数据转化和融合

为了扩大人工标注数据的规模, 从而提高模型性能, 尝试充分利用已有的异构人工标注数据训练模型参数。将Li等2015年提出的耦合序列标注方法扩展到基于BiLSTM的深度学习框架, 直接在两个异构训练数据上训练参数, 测试阶段则同时预测两个标签序列。在词性标注、分词词性联合标注两个任务上进行大量实验, 结果表明, 与多任务学习方法和传统耦合模型相比, 神经耦合模型在利用词法异构数据方面更优越,在异构数据转化和融合两个场景上都取得更高的性能。     

基于人体骨架特征学习的动作识别

动作识别是计算机视觉研究中的一个基本但具有挑战性的问题.在过去的几年中,许多基于RGB视频的识别技术已经得到了巨大的发展,并取得了显著的成果.但是,处理RGB视频可能非常耗时.其中,在动作识别领域,人体骨架数据具有轻量级的特点,同时对人体外观、环境背景等信息具有不变性,因此,这种数据模态受到了越来越多的关注.然而,基于人体骨架的动作识别面临两个问题:人体骨架数据的噪声问题和数据标注的依赖问题.噪声问题是指骨架数据中存在噪声影响数据的准确性,而数据标注依赖问题则是指在监督学习中,需要大量的标签数据进行训练.本文针对人体骨架数据在采集中的噪声问题,提出了一种基于噪声适应的动作识别模型,设计了回归模型和生成模型充分利用不同场景下的噪声数据特点.并且针对人体骨架数据过于依赖标签数据,利用自监督学习方法,提出了一个基于多任务自监督学习的动作识别方法.     

基于标签深度分析的音乐自动标注算法

尽管深度神经网络算法在标签自动标注领域已取得一定的成果,但对于包含大量噪声标签的真实音乐数据集仍存在自动标注效果差的问题.为此,文中通过对音乐标签进行表示学习,挖掘音乐标签与音频特征之间的潜在关系,提出了基于标签深度分析的音乐自动标注算法.该算法先通过多层级卷积网络提取音频特征,再通过音乐标签向量的表示学习来降低噪声数据对音乐自动标注网络的不良影响.在真实音乐标注数据集上的实验结果表明,该算法能取得更高的平均受试者特征曲线下面积,标注效果优于其他自动标注算法.     

基于组对比学习的弱监督三维点云语义分割方法

三维点云语义分割方法,是三维视觉环境感知中的重要任务,被广泛应用于自动驾驶、增强现实、机器人等领域.然而,大多数语义分割方法工作在全监督的模式下,为数据标注带来了极大的压力,为了解决对于大规模点云标注数据的依赖问题,许多工作基于有标签数据训练生成伪标签进一步迭代训练模型,但未考虑到错误伪标签累积所导致的确认偏差.针对该问题,本文提出了一种基于组对比学习的弱监督三维点云语义分割方法,在从伪标签中选择的正例组与负例组之间构造对比学习,令伪标签之间相互竞争,减少错误伪标签的梯度贡献,从而缓解确认偏差.实验结果表明,本文所提出的方法在S3DIS、ScanNetV2、Semantic3D等3个公开数据集上,相较于目前最优方法均取得了更优的精度.     

基于TransH的双重注意力机制远程监督关系抽取算法

远程监督为关系抽取任务提供了大量自动标注的数据集,且领域迁移性强,为实现自动抽取奠定了基础。然而,构造的数据集伴随了强约束性的假设,存在着严重的错误标签问题,且这些噪声数据极大影响了最终的性能结果。为了缓解错误标注的问题,文中提出了一种双重注意力模型：第一层注意力机制通过在句子编码部分引入TransH预训练好的实体向量,与句子特征共同进行注意力选择,为体现关系信息的特征分配更高的权重来提高句子编码质量;第二层则是从句子级别再进行一次注意力计算,挑选出有效的实例,进一步降低噪声数据的权重。通过在广泛使用的数据集上进行多次对比实验,表明文中所提模型可以充分利用所有信息资源,结果明显优于其他基线模型。     

基于关系模式与深度强化学习的DS数据去噪模型

远程监督(Distant Spervision，DS)数据集中存在大量错误标注的数据，而现有的DS数据集去噪方法通常只考虑针对具有标签的数据进行去噪，没有充分利用无标签数据，导致去噪效果不佳。本文提出一种新型DS数据去噪模型——Pattern Reinforcement Learning Model (PRL模型)：首先利用基于关系模式的正样例抽取算法提取DS数据集中高质量的有标签数据；然后利用Filter-net作为分类器，提取DS数据集中高质量的无标签数据；最后将高质量的有标签数据和无标签数据作为深度强化学习(Reinforcement Learning，RL)方法的训练数据集，获得去噪效果更好的远程监督数据集。将PRL模型应用于New York Times(NYT)数据集，并以去噪后的数据集来训练PCNN+ONE、CNN+ATT、PCNN+ATT 3个模型。实验结果表明，经过PRL模型对数据集进行去噪后，这些模型的性能得以提升。因此，PRL模型是一种轻量的数据去噪模型，可以提升基于深度神经网络模型的性能。     

基于模糊度的半监督自步协同下的微信流业务识别

网络数据流的精准业务识别是实现差异化服务的先决条件,常用的监督学习在构建训练数据集时因需要大量人力标注因而难以实施,基于少量标注数据的半监督学习成为研究的热点之一.自步协同训练(self-paced co-training)的半监督框架在处理未标记数据时采用了从易到难、多视角协同的方法,但该方法仅以置信度为选取依据给样本标记伪标签,容易导致多视角的差异性在训练过程中逐步下降,从而引起协同增益下降、模型性能受限等问题.为此面向微信数据流识别问题,提出了一种基于模糊度的自步协同训练模型(fuzziness based self-paced co-training, FBSpaCo),在标注伪标签时进一步引入模糊度评估机制.实验表明,该模型在保证置信度的前提下有效地避免了训练过程中两视角差异性下降,较已有方法较大地提升了识别准确度.     

结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中，法律信息抽取是法律人工智能任务中最基本的任务。目前，法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据，而人工标注的方式会提高法律信息抽取任务的成本，存在只有少样本情况下模型学习性能较差的问题。针对上述问题，提出一种结合预训练和自训练的法律信息抽取增强式方法。首先，利用大规模预训练模型和标签数据训练出一个教师模型；然后，利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据，再结合训练完成的教师模型对其生成伪标签数据；最后，将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比，本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。     

跨语言声学模型在维吾尔语语音识别中的应用

对维吾尔语而言,由于数据采集和标注存在各种困难,用于训练声学模型的语音数据不够充分。为此,该文研究了基于长短期记忆网络的跨语言声学模型建模方法,利用汉语庞大的训练数据训练深度神经网络声学模型,然后将网络的输出层权重去掉,用随机化的方式产生与维吾尔语输出层对应的权重值,采用反向传播的方式,利用维吾尔语语音数据更新所有权重来训练维吾尔语声学模型。实验结果表明:该方法使维吾尔语转写和听写识别错误率分别比基线系统相对降低了20%和30%。该方法利用汉语大数据来训练神经网络的隐藏层,使维吾尔语声学模型能在一个较好的初始权重网络上进行训练,增强了网络的鲁棒性。     

基于自适应噪声校正的鲁棒域适应学习

域适应（Domain Adaptation,DA）学习旨在利用标签丰富的源域来帮助标签稀缺的目标域学习。DA方法通常假设源域数据已正确标记,然而现实中通常很难收集到大量带有干净标签的源实例,带有噪声源标签的噪声DA学习可能会降低目标学习性能。为此,本文提出基于自适应标签噪声校正的鲁棒DA学习方法（Robust DA Method through Adaptive Noise Correction,RoDAC）。RoDAC包含两个学习阶段,即自适应噪声标签检测（Adaptive Noise Label Detection,ANLD）和自适应噪声标签校正（Adaptive Noise Label Correction,ANLC）。在ANLD中,使用自适应噪声检测器识别带有噪声标签的源实例,并进一步在ANLC中自适应地校正噪声标签,将其重新投入域适应学习中。与基准数据集进行比较,结果表明RoDAC方法在源域标签存在噪声的域适应场景中取得了显著的性能提升。该学习策略可集成至许多现有的DA方法中,以提升其在噪声标签场景下的学习性能。     

改进的核极限学习机定位算法

针对神经网络无线定位方法,存在训练耗时长,定位结果易受噪声干扰的问题,提出了一种改进的核极限学习机无线定位算法。采取在同一位置进行多次测量的方法得到训练数据;把同一位置测得的数据划分为一个样本子空间并提取样本子空间的特征,以样本子空间的特征代替原来的训练数据;利用矩阵近似及矩阵扩展的相关理论改进核极限学习机算法;将处理过的训练数据利用改进的核极限学习机进行训练,得到定位预测模型。仿真结果表明,在相同数据集下,改进的核极限学习机训练用时短、定位速度快;在相同噪声干扰情况下,此算法定位预测误差小。经验证,该算法不但能提高网络的训练速度、定位速度,还能有效地降低噪声的干扰,提高定位精度。     

深度学习在引力波数据处理中的应用初探

截至2018-01-16,LIGO已成功探测引力波事件6次.可以预期,引力波探测事件会越来越多,引力波天文学会很快进入到大数据阶段.深度学习在大数据处理方面近年来得到迅速发展.它在数据处理速度,准确度等方面都表现出极大的优势.深度学习在引力波数据处理中的应用讨论还不多.本文引入此问题,并对其进行初步研究.引力波数据最大的特点是强噪声、弱信号.现行的数据处理方法是利用匹配滤波的方式把引力波信号从强噪声中挖掘出来.同时,匹配滤波方法还可以确定引力波源的性质,定量确定其参数.匹配滤波方法的弱点是计算量巨大.这导致数据处理速度很慢.对于将来的大数据引力波天文学,这更将是一个巨大的隐患.匹配滤波方法的另一个潜在问题是,完备准确的理论波形模板是其工作的前提条件.这个潜在问题的后果是很难找到理论预期之外的引力波信号.深度学习的数据处理方法有可能在这些问题上提供出路.同时,深度学习也会遇到其自身的若干困难和问题.本文将从网络结构、训练数据制备、训练优化、对信号识别的泛化能力、对数据的特征图表示以及对特征数据遮挡的响应等方面来展开讨论.     

基于主动学习的油气管道沿线地物变化检测

油气管道在储运过程中,沿线区域地物变化对其安全具有较大影响,特别是道路的修建、沟壑的挖掘、滑坡等。由于油气管道分布范围广、周边环境复杂,传统的人工巡检方式存在一定的局限性,因此研究了基于卫星遥感的油气管道沿线地物变化检测。在综合考虑空间信息和算法自动化程度的基础上提出一种改进的基于多特征融合和主动学习的油气管道沿线地物变化检测算法。首先利用基于自适应阈值算法选择初始训练样本,然后利用梯度提升树、k近邻和极限随机树集成结构进行未标记样本的类别判定,并基于边缘采样的主动学习算法进行未标注样本增选。在样本增选过程中为了减少噪声对训练样本的影响并且减少冗余信息,通过两方面对增选样本进行优化,首先通过分割对象约束分类器集成变化检测结果,提高增选样本的准确性,然后利用边缘采样方法选择信息量较大的未标记样本进行标注。通过两景融合后的资源三号(ZY-3)影像进行实验,结果表明该算法可以有效检测地物变化情况,并且在提高变化检测结果精度的同时,可以有效减少训练样本的标注成本。     

多标记数据的特征及标记降维方法综述

多标记学习降维方法在实际应用问题中用以处理特征,标记或二者维度较高的数据集,已成为研究热点;针对目前多标记学习降维方法数量众多,种类繁杂而导致缺乏科学分类的问题,从多标记数据降维空间选择的角度,提出将多标记学习降维方法按照特征空间降维,标记空间降维和二者均降维的形式归纳为三类,其中特征空间降维又分为特征降维和特征选择两类问题,分别从独立于和依赖于彼此空间的角度对已有的40余篇文献中的典型多标记学习降维算法的研究现状进行了综述;最后,总结了多标记学习降维方法的研究现状和启示,并提出了未来进一步的研究方向。     

一种简洁高效的加速卷积神经网络的方法

卷积神经网络是机器学习领域一种广泛应用的方法,在深度学习中发挥着重要的作用。由于卷积神经网络一般需要多个层,而且训练数据通常都很大,所以网络训练可能需要几小时甚至很多天。目前虽然有一些利用GPU加速卷积神经网络训练的研究成果,但基本上都是实现方式复杂,需要技巧很高,而且容易出错。提出了一种简洁、高效的加速卷积神经网络训练的方法,其主要过程是将卷积层展开,这样卷积层和全连接层的主要训练步骤都可以用矩阵乘法表示;再利用BLAS库高效计算矩阵乘法。这种方法不需要过多考虑并行处理的细节和处理器的内核特点,在CPU和GPU上都能加速。实验证明,GPU上使用该方法比传统的CPU上的实现快了100多倍。     

基于深度学习的风力发电机组故障预警方法研究综述

风能作为重要的可再生能源,近几十年来,全球风能使用规模迅速增长,陆上和海上风力发电机组发电容量不断增加。由于风力发电机组故障维修成本巨大,因此必须开发有效且可靠的风力发电机组故障预警方法,在风电机组发生故障前进行提前预警,以便降低风电场的运营和维护成本。目前风电机组数据采集与监视控制系统(supervisory control and data acquisition, SCADA)已经在风电场有了广泛的应用,其中蕴含着大量的潜在数据信息,同时深度学习方法在海量数据挖掘方面有比较明显的优势,因此深度学习方法在风力发电机组故障预警领域的应用潜力巨大。综述了近年来相关深度学习方法在风力发电机组故障预警的研究进展,总结了风电机组故障预警的大体步骤,分析了各个步骤的具体处理方法,对每种技术方法的特点进行整理分析。最后阐述了深度学习在风电机组故障预警领域所面临的挑战,并对今后的研究重点进行了展望。     

推荐系统研究综述

随着互联网技术的快速发展,如何对海量网络信息进行挖掘分析,已成为热点和难点问题。推荐系统能够帮助用户在没有明确需求或者信息量巨大时解决信息过载的问题,为用户提供精准、快速的业务(如商品、项目、服务等)信息,成为近年来产业界和学术界共同的兴趣点和研究热点,但是,目前数据的种类多种多样并且应用场景广泛,在面对这种情况时,推荐系统也会遇到冷启动、稀疏矩阵等挑战。深度学习是机器学习的一个重要研究领域和分支,近年来发展迅猛。研究人员使用深度学习方法,在语音识别、图像处理、自然语言处理等领域都取得了很大的突破与成就。目前,深度学习在推荐领域也得到了许多研究人员的青睐,成为推荐领域的一个新方向。推荐方法中融合深度学习技术,可以有效解决传统推荐系统中冷启动、稀疏矩阵等问题,提高推荐系统的性能和推荐精度。文中主要对传统的推荐方法和当前深度学习技术中神经网络在推荐方法上的应用进行了归纳,其中传统推荐方法主要分为以下3类:1)基于内容推荐方法主要依据用户与项目之间的特征信息,用户之间的联系不会影响推荐结果,所以不存在冷启动和稀疏矩阵的问题,但是基于内容推荐的结果新颖程度低并且面临特征提取的问题。2)协同过滤推荐方法是目前应用最为广泛的一种方法,不需要有关用户或项目的信息,只基于用户和诸如点击、浏览和评级等项目的交互信息做出准确的推荐。虽然该方法简单有效但是会出现稀疏矩阵和冷启动的问题。3)混合推荐方法融合了前2种传统推荐方法的特点,能取得很好的推荐效果,但在处理文本、图像等多源异构辅助信息时仍面临一些挑战与困难。依据神经网络基于深度学习的推荐方法主要分为4类:基于深度神经网络(DNN)的推荐方法、基于卷积神经网络(CNN)的推荐方法、基于循环神经网络(RNN)和长短期记忆神经网络(LSTM)的推荐方法、基于图神经网络(GNN)的推荐方法、将深度学习技术融入到推荐领域,构造的模型具有以下优势:具有较强的表征能力,可以直接从内容中提取用户和项目特征;具有较强的抗噪能力,可以轻易地处理含有噪声的数据;可以对动态或者序列数据进行建模;可以更加精准地学习用户或项目特征;便于对数据进行统一处理,并且可以处理大规模数据。将深度学习技术应用到推荐领域,可以积极有效地应对传统推荐方法面临的挑战,提高推荐效果。     

单通道语音增强中深度学习方法研究现状与展望

语音增强是语音信号处理领域一种传统且依然非常活跃的研究分支。单通道语音增强是指从单个麦克风采集的带噪语音中尽可能恢复出干净语音，在移动通信、语音交互、数字助听等领域有重要的应用价值。传统的单通道语音增强技术在处理平稳噪声时已取得较好的增强性能，但在非平稳噪声条件下增强效果依然难以令人满意。近年来，随着人工智能的快速发展，基于深度学习的单通道语音增强在处理非平稳噪声问题方面已取得明显的进展。通过系统梳理单通道语音增强中深度学习方法的发展，并按照技术发展脉络，分基于参数映射、基于生成对抗机制和基于弱监督3个方面进行综述，介绍三类方法的基本原理，分析典型文献的技术思路，总结三类方法的优势与存在的问题，最后对深度学习技术在单通道语音增强领域的发展进行了展望。     

机器学习在油气行业中的应用进展综述

近年来,随着深度学习的兴起,机器学习在油气领域得到了进一步深入发展。但是,由于油气行业的特殊性和复杂性,目前还没有建成适用于深度学习的训练样本库,也没有针对性的模型建立和选择方法体系。此外,深度学习方法的不可解释性,导致了学习的模型对环境的高度依赖,制约了机器学习在油气行业中的推广应用。从机器学习的发展阶段出发,介绍机器学习在油气行业各领域的应用中所涉及的重大突破及仍然存在的问题。针对油气行业中不同类型数据的处理方法、样本建立以及如何进行模型适应性分析等方面给出了建议,提出可解释机器学习在油气人工智能上的发展潜力以及研究方向。