针对机器问答中多跳问题的深度学习网络模型

多跳问答(multi-hop question answering, multi-hop QA)是文本问答的一项重要且具有挑战性的任务。针对现有方法在解决多跳问题时答案推理能力弱、答案寻找的准确率低等问题提出一种多跳问题的深度学习网络模型AGTNet(albert graph attention network,轻量双向编码图注意力网络)。首先在神经网络隐藏层使用参数共享和矩阵分解技术,然后使用点积计算方式进行答案预测,最后使用已标注的数据集对AGTNet模型进行训练验证。试验结果表明,本模型经过训练后在测试集上的F₁值达到70.4;与现有的多跳问答推理模型相比,本模型拥有较优的实体级推理能力,能够有效提高多跳问答推理能力,从而提升了问答系统的响应速度和准确率。本研究结果为问答系统和多轮对话机器人的研发提供了理论依据。     

面向问答领域的数据增强方法

针对当前自动问答数据增强方法需要大量外部数据的问题,提出一个面向问答模型缺陷的数据增强方法.首先,在训练集上训练好问答模型、问题生成模型以及问答匹配模型;然后,获取问答模型在训练集上预测的所有答案,并选取其中预测错误的答案;再后,使用问题生成模型对这些答案生成相应问题;最后,通过问答匹配模型对生成的问答对进行过滤,保留...     

基于对比学习的暴力检测算法研究

针对现有暴力检测模型实际部署中存在数据标注成本高,提出基于对比学习的半监督模型训练框架,利用对比学习训练模型的表征能力,对比样本采用基于速度和基于全局和局部对比生成方式,对比框架在大量正负样本对比基础上增加正例样本间对比数量,同时利用伪标注对模型进行微调。实验结果显示,对比学习能够帮助模型在RWF2000和RVLS 5%训练数据下提升了3.9%,2.55%准确率,微调阶段能在RWF2000 25%训练数据下帮助模型进一步提升约3%准确率。     

裂缝检测模型数据集的低监督快速标注算法

为解决裂缝检测深度学习模型训练时数据集标注效率低、成本高的现状,以及现有计算机标注算法对复杂环境适应性较弱的问题,基于计算机视觉与概率统计理论,提出低监督快速标注的概念,并以计算机标注和人工标注相融合的全新标注模式,形成了完整的裂缝检测模型数据集的快速标注算法。与人工逐像素标注相比,标注精度均为84%以上,且可节省至少85%的时间;与传统计算机标注方式相比,标注干涉和简单人工标注方式可以较好地处理复杂背景问题。经U-Net深度学习模型验证,测试集的平均交并比可达0.90。     

基于三元训练的跨领域依存句法分析

基于大规模领域内标注数据训练的句法分析模型在领域外数据上测试时,性能会急剧下降.导致该现象的原因之一是缺乏高质量的目标领域标注数据.由于人工标注数据耗时耗力,自动生成目标领域标注数据是一种有效的解决方法.其中,三元训练(tri-training)作为一种典型的多模型决策协同训练方法,旨在利用多个模型的预测结果来保证自动标注数据的质量.本文针对跨领域依存句法分析任务,系统比较了3种常用的tri-training方法,在NLPCC-2019评测数据集上取得了目前最佳的性能,并大幅度超过了目前最好结果.此外,还设计了详细的分析实验以深入理解跨领域模型性能下降的原因以及tri-training所起的作用.     

基于多特征混合模型的视觉目标跟踪

用单一特征训练跟踪模型进行跟踪鲁棒性较差,为解决这一问题,提出一种多特征表示的混合模型跟踪方法,将生成跟踪模型与判别跟踪模型结合.在生成模型中,利用金字塔结构计算基于颜色的直方图特征表示并以此来计算目标和候选之间的匹配度;判别模型则采用由灰度特征,HOG特征和LBP特征融合训练得到的SVM分类器来判别候选是否为跟踪目标,接着将匹配度和分类结果结合产生对候选的评估,最终评估最高的候选作为跟踪结果同时也用来更新判别模型的训练集.在CVPR2013跟踪数据集上的实验结果表明,该方法能有效克服局部遮挡和背景干扰等问题,实现在复杂背景下的目标跟踪.     

基于深度学习的井间地震CT初至自动拾取方法

井间地震CT方法能够有效探测岩溶等不良地质,而拾取地震波的初至对其反演结果至关重要.以往井间地震CT初至拾取通过手动标定,效率低,无法满足模型训练要求.本文基于人工源地震初至的时距特征,提出了一种基于深度学习的地震初至训练样本库快速标定方法.利用人工合成数据训练初始网络模型,采用少量人工标定实测数据进一步训练,基于该网络模型对未标定的井间地震实测数据剖面进行初至拾取,采用长短时窗比法修正曲线拟合结果,对仍不理想的拾取结果进行人工判别和改正,并将准确标定数据加入训练集,形成新的网络模型;通过迭代实现数据集再生成并获得后续阶段的网络模型.基于上述方法完成了80 000道数据的初至拾取,在充分训练后神经网络具备较高的拾取精度,采用3840组数据对该模型进行测试,发现预测结果与人工拾取结果对比的绝对误差值小于0.2ms的数据占91.8%,说明该方法是一种切实有效且高效的井间地震CT初至拾取方法.     

训练过程中使用支持集信息的单样本学习算法

单样本学习的目的是利用一个包含大量训练样本的源类别数据集以及每个类别只包含一个训练样本的目标类别数据集来构建一种学习算法,使得算法能够对目标类别空间中的样本进行准确分类.已有的单样本学习算法主要是先利用源类别数据来训练模型,然后在测试时将目标类别训练数据作为支持集来实现对未标注样本的分类,因此在训练时没有有效地利用支持集的信息.为此提出一种在训练阶段和测试阶段同时利用支持集信息的单样本学习算法,基本思想是利用孪生神经网络构建模型并在训练时加入支持集信息,即让不同类别的支持集样本之间的相似度尽可能小.在Omniglot数据集和满文识别问题上的实验结果表明,该算法能取得较好的识别准确率.     

结合预训练和自训练的法律信息抽取增强式方法

在“智慧法院”的建设中，法律信息抽取是法律人工智能任务中最基本的任务。目前，法律信息抽取方法主要基于深度神经网络的监督学习模型。由于现有的监督学习模型需要大量的标签数据，而人工标注的方式会提高法律信息抽取任务的成本，存在只有少样本情况下模型学习性能较差的问题。针对上述问题，提出一种结合预训练和自训练的法律信息抽取增强式方法。首先，利用大规模预训练模型和标签数据训练出一个教师模型；然后，利用改进的文本相似度计算公式从法律文书库中寻找出与训练集相似的无标签法律文本数据，再结合训练完成的教师模型对其生成伪标签数据；最后，将有标签数据和伪标签数据混合起来重新训练出一个学生模型用于下游的法律信息抽取任务。本文在2021法研杯提供的信息抽取数据集上进行验证。与基线模型进行对比，本文提出的结合预训练和自训练的法律信息抽取增强式方法取得了较好的抽取效果。     

用于指法估计的音高差数据增强方法

指法估计模型的性能除了与自身的结构有关，数据本身的数量和质量也是其重要影响因素．然而，乐谱指法的标注需要标注者有一定演奏经验，且标注过程费时费力，导致现有乐谱-指法数据集稀少，且增速缓慢．为解决数据集样本数量有限带来的模型表现不佳、参数过拟合等问题，提出了两种针对键盘类乐器乐谱音高差指法数据的数据增强方法．通过分析乐谱-指法数据的统计特征，一方面结合键盘类乐器和指法的映射关系，提出了基于隐马尔可夫模型的数据增强方法，另一方面结合双手手部生理学特性，提出了左右手镜像变换的数据增强方法．将本文提出的两种增强方法生成的数据加入训练集，经过与人工确定指法思路相近的双向长短期记忆网络学习后，一般匹配率提高了2.24%，最高匹配率提升了3.73%．结果表明数据增强有助于模型更好地学习音指特征．将基于隐马尔可夫模型的数据增强方法生成的“再采样数据集”和基于手部生理学特性生成的“左右手镜像变换数据集”分别加入训练，对指法估计结果中单音和复音占比75%以上的乐谱匹配率分别进行统计，结果表明再采样数据可以增强数据集本身的统计特征，左右手镜像变换数据可以弥补一些数据集原先没有的音指规律，说明了两种数据增强方...     

基于社区问答数据迁移学习的FAQ问答模型研究

基于FAQ(Frequent Asked Questions)问答技术构建智能客服系统,是当前业界普遍采用的技术方案.基于FAQ构建的问答系统,其返回的结果具有稳定、可靠、质量高的优点;但因受限于人工标注的知识库规模,识别能力有限,容易遇到瓶颈.为了解决FAQ数据集规模有限的问题,给出了数据层面和模型层面的解决方法:在数据层面,利用百度知道爬取相关数据并挖掘语义等价问题,保证了数据的相关性和一致性;在模型层面,提出了一种面向迁移学习的深度神经网络transAT,该模型融合了Transformer强大的特征抽取能力和注意力机制,适用于句子对之间的语义相似度计算.实验表明,该方法可以显著提升模型在FAQ问答任务中的效果,在一定程度上解决了FAQ数据集规模有限的问题.     

基于半监督学习的即时语音通信隐藏检测

传统即时通信隐藏检测方法主要采用基于监督学习的检测方式,导致部署前需大量复杂的人工预处理,同时训练数据集与测试数据集分布的差异会影响检测的准确率。针对以上问题,该文首先重点针对即时语音通信隐蔽信道提出了一种全新的半监督混合式检测模型,该模型不存在人工挑选与标注训练数据集的过程,解决检测操作人工预处理复杂和适用性差的问题;然后设计了基于自学习的多准则融合模块,用于自行生成伪标注数据集,其可信度和代表度共同决定了即时语音通信隐藏检测系统的性能,且不存在语音通信隐藏检测中训练与测试集分布失配的情况;最后针对即时语音通信中常见的低码率语音流载体进行实验分析,在失配状况下基于有监督的检测方法以及无监督检测方法相比,其准确率具有明显优势;当训练样本与测试样本的分布不匹配时,该方法相比有监督的检测方法所受的影响更小。同时,实验显示该方法可以适用于多种编码检测过程。     

基于CAD模型虚拟仿真数据的深度学习目标检测

有效的深度学习网络在训练过程中所需数据规模大,而数据的采集与标注极为耗时耗力,限制了深度学习在工业上的应用范围.针对该问题,基于工业生产中常用的CAD模型,结合实际的工业应用背景,设计了一套参数化生成虚拟仿真工件图像数据集的方法,避免工业现场繁琐的平台搭建与数据采集过程.同时,提出一种基于YOLOv3的改进深度学习网络...     

面向微博用户的消费意图识别算法

利用迁移学习的方法, 融合京东问答平台数据与少量已标注的微博数据构建训练集, 提出一种基于注意力机制的双向长短期记忆神经网络(Attentional-Bi-LSTM)模型, 用于识别用户的隐性消费意图。针对显性意图识别问题, 提出一种结合TF-IDF (term frequency-inverse document frequency)与句法分析中动宾关系(VOB)的消费意图对象提取算法。实验结果表明, 通过将迁移京东问答平台的数据与微博数据相融合, 可以有效地扩充训练集, 在此基础上训练的神经网络分类模型具有较高的准确率和召回率; 融合VOB和TF-IDF的显性消费意图对象提取方法的准确率达到78.8%。     

基于模板学习的智能侨情问句生成方法

为解决侨情问句甚少导致训练的侨情语料较少的问题,提出一种基于模板学习的智能侨情问句生成方法。首先,对侨情篇章文本进行包含主题、关系、对象的三元组抽取;其次,构建训练数据集,输入数据由主题和关系构成,输出数据为问句模板;随后,采用以BERT+LSTM+Attention为核心算法的seq2seq框架,实现问句模板生成;最后,对模板问句进行主题文本替换,从而得到最终的实例化问句。采用BLEU,ROUGE-N,公开问答系统评测及人工评价方式对文中方法进行评价。结果表明：BLEU,ROUGE-N,公开问答系统评测及人工评价方式对文中方法的评测结果分别为0.77,0.67,81%,88%,较基线模型有较大的提升。     

基于公共特征空间的自适应情感分类

针对情感分类这一项从文章或句子中得到观点态度的任务,常规情感分类模型大多需要耗费大量人力获取标注数据.为解决某些领域缺乏标注数据,且其他领域分类器无法在目标领域直接使用的现状,设计了一种新颖的基于构建公共特征空间方法,使分类模型可从有标注领域向无标注领域进行迁移适应,减少人工标注的成本开销,实现情感分类的领域自适应.该方法以大规模语料下预训练的词向量信息作为以词为元素的特征,在同种语言中表达情感所采用的句法结构相似这一假设前提下,通过对领域内特有的领域特征词进行替换的方式构建有标注数据集与无标注数据集基本共有的公共特征空间,使有标注数据集与无标注数据集实现信息共享.以此为基础借助深度学习中卷积神经网络采用不同尺寸卷积核对词语不同范围的上下文特征进行抽取学习,进而采用半监督学习与微调学习相结合的方式从有标注数据集向未标注数据集开展领域自适应.在来自京东与携程共5个领域的真实电商数据集上进行实验,分别研究了领域特征词选择方法及其词性约束对领域间适应能力的影响,结果表明:相较于不采用领域适应的模型,可提升平均2.7%的准确率;且在来自亚马逊电商的公开数据集实验中,通过与现有方法进行对比,验证了该方法的有效性.     

基于PPYOLOE的师生互助训练半监督目标检测网络

随着深度学习技术的发展,基于卷积神经网络的目标检测技术成为当前计算机视觉领域的研究热点之一.目前主流的目标检测算法依赖于监督学习方式,需要在大量有标注图像数据上训练网络,然而,无标签的数据易于获取,而有标签的数据收集起来通常很困难,标注也耗时和耗力．为了解决数据标注难以获取的问题,提出了教师学生互助训练的半监督目标检测(PPYOLOE-SSOD)算法．首先,同时训练一个学生模型和逐渐改进的教师模型,使用教师模型筛选高质量伪标签,将伪标签作为未标注图像的回归目标,指导学生模型训练,挖掘未标注图像的知识信息,为了减小参数传递的不稳定性,每次迭代学生模型使用指数移动平均方法更新教师模型参数;此外,引入不同种类的半监督数据增强方法来增强网络的抗干扰能力;最后,针对无标注数据的学习,新增无监督学习分支,使用密集学习方式对模型预测得到的特征进行处理,通过对教师模型预测的分类特征排序,自动选择高质量特征作为教师模型生成的伪标签,从而避免了繁琐的伪标签后处理,提升网络的精度和训练速度．在MSCOCO数据集上,通过使用半监督学习方法,PPYOLOE在1%、5%、10%的标注数据集上分别得到了1.4%、1...     

图像抠图与copy-paste结合的数据增强方法

提出一种基于图像抠图与copy-paste结合的数据增强方法(matting-paste),采用图像抠图法获取单个垃圾实例的准确轮廓，并对单个实例进行旋转和亮度变换.根据物体轮廓信息，把实例粘贴到背景图上，无需额外的人工标注即可生成新的带有标注的数据，从而提高数据集的多样性和复杂性.结果表明：数据集扩充后的mask比数据集扩充前的识别精度提高了0.039,matting-paste能在已有数据集上有效地扩充数据，进一步提高模型的识别精度.     

基于知识图谱嵌入的多跳中文知识问答方法

基于知识图谱嵌入模型, 提出一种知识图谱嵌入评分与链路评分相结合的评分方法, 以解决中文领域的多跳知识图谱问答任务, 与传统的单跳知识问答方法相比适用性更广. 该方法在搜索最优答案的同时构建一个查询链路, 通过查询给出答案集合, 从而有效缓解了现有方法中遗漏答案的情况. 在NLPCC-MH数据集上的实验结果表明, 该方法在多跳问题上的平均F₁值为0.653, 显著优于对比方法. 真实知识图谱通常存在链路缺失的情况, 实验以随机丢弃25%三元组的方式模拟了知识图谱的稀疏性, 结果表明该方法在这种情况下仍然有效.     

结合主动学习与关系图卷积神经网络的社交机器人检测

社交机器人一直在应用中不断发展，并且为了逃避现有的检测方法，变得更加先进和复杂，较大地影响了原有部分社交机器人检测方法的效果.检测社交机器人成为了一项漫长而又艰巨的工作.在社交机器人检测领域中，目前存在着已公开相关数据集较少的情况，需要人工标注大量的数据.本文提出了一种结合主动学习与关系图卷积神经网络(RGCN)的检测方法——ALRGCN,用以解决人工标注大量数据成本较高的问题.其主要思路是利用主动学习方法来扩充标记数据集，以最大化人工标注的价值.主动学习利用种子选择算法构建初始训练集以及不确定性采样方法筛选出较高信息熵的样本，交由分类模型进行训练，旨在通过专业人员的经验来人工标注一些分类器难以分类的数据.鉴于社交机器人通常以集群的形式出现，本文引入了RGCN来捕捉其网络结构特征.RGCN可以有效地分析节点及其相邻节点的属性，进而帮助该节点进行分类.实验在TwiBot-20数据集上进行，通过对比进行使用的基线实验，ALRGCN在F1上取得了2.83%的提升.实验结果证明，ALRGCN在标注样本更小的情况下可以更有效地检测出社交机器人.