目标依赖的新闻事件识别

海量新闻文本中往往涉及多个实体,并蕴含复杂多样的事件.为了挖掘这些实体、事件信息,先前的以事件为中心的事件抽取方法大多先检测事件,再抽取事件论元.受限于触发词和事件识别,该方法无法应用于真实工业场景下的新闻事件抽取.考虑到命名实体识别(named entity recognition, NER)的性能达到90%以上,提出了以目标实体为视角的事件抽取任务—目标依赖的事件识别(target-dependent event detection, TDED),旨在抽取出实体并识别其对应的事件.基于该任务,提出了先抽取实体再识别目标级事件类型的两阶段模型框架.该模型融合了事件关键词和句法依存距离特征,能够学习目标依赖的上下文信息.在构建好的真实中文金融数据集上的实验结果表明,该模型抽取性能较佳,即使在句中存在多个实体或事件的复杂情形下也能取得很好的性能表现.     

基于对抗迁移的复合材料检测领域命名实体识别

命名实体识别(named entity recognition, NER)可整合复合材料检测领域相关数据精准提取关键实体信息,促进产业信息化,为行业发展提供技术支撑。针对复合材料检测领域专业名词过多及边界混淆等问题,提出了一种基于对抗训练(adversarial training)和BERT(bidirectional encoder representations from transformers)嵌入相结合的领域命名实体识别模型(BERT-AdBC)。首先,复合材料检测领域数据规模较小,BERT嵌入增强了领域迁移能力,通过融合字向量获取充分的语义表示;其次,领域语句繁杂冗长,引入自注意力机制结合双向长短期记忆网络(Bi-LSTM)模型增强了上下文之间语义关系的获取;最后,对抗训练利用分词任务与实体识别任务的共享信息解决了边界混淆问题。实验结果表明,本文所提出的BERT-AdBC模型对复合材料检测领域实体识别的效果要优于传统模型,综合评价指标F₁最高提升6.48%。     

基于集成深度迁移学习的多源跨领域情感分类

传统的跨领域情感分类往往是实现单一源领域到目标领域的情感迁移,而在现实情况下,往往存在多个源领域的数据。文章从参数迁移和集成学习的角度,提出了一种基于集成深度迁移学习的多源跨领域文本情感分类方法。首先,使用字符向量增强的深度卷积神经网络模型,在单个源领域上训练情感分类模型,然后通过模型迁移的手段,实现源领域的情感知识到目标领域的迁移。通过深度特征抽取和模型迁移,有效提升了跨领域的特征表示能力。为了充分利用所有源领域信息,我们采用集成学习框架对训练好的迁移学习模型进行集成。通过在Amazon多领域的评论数据集上进行实验,验证了文章提出的框架对跨领域情感分类的正确率有一定提升。     

金融领域中文命名实体识别研究进展

命名实体识别(Named Entity Recognition, NER)作为自然语言处理的基本任务之一,一直以来都是国内外研究的热点.随着金融互联网的快速发展,迄今为止,金融领域中文NER不断进步,并得以应用到其他金融业务中.为了方便研究者了解金融领域中文NER方法的发展状况和未来发展趋势,进行了一项相关方法的研究和总结.首先,介绍了NER的相关概念和金融领域中文NER的特点;然后,按照金融领域中文NER的发展历程,将研究方法分为基于字典和规则的方法、基于统计机器学习的方法和基于深度学习的方法,并详细介绍了每类方法的特点和典型模型;接下来,简要概括了金融领域中文NER的公开数据集和工具、评估方法及其应用;最后,向读者阐述了目前面临的挑战和未来的发展趋势.     

基于多度量融合的无监督领域自适应行人重识别算法

行人重识别任务旨在跨相机下检索出特定的行人图像.虽然行人重识别任务得到了快速发展,在检索精度上得到很大的提升,但是依然面临着行人重识别模型在新的数据集上泛化能力有限,以及在无监督领域自适应任务中无法避免的伪标签噪声的问题.针对目前无监督领域自适应任务中由于聚类算法的局限性而导致伪标签出现噪声的问题,提出一种基于多度量融合的无监督领域自适应行人重识别算法.具体而言,多度量融合算法是在目标域上使用DBSCAN(density-based spatial clustering of applications with noise)聚类算法对特征空间的行人特征进行聚类时,通过多个特征相似度度量函数线性加权的方式,计算行人之间的特征相似度,从而在目标域上生成更为准确的伪标签,之后利用该伪标签微调模型.通过在Market1501→DukeMTMC-reID和DukeMTMC-reID→Market1501上大量的实验,证明多度量融合算法有效提升了行人重识别模型在无监督领域自适应任务上的检索精度.     

采用深度迁移学习与自适应加权的滚动轴承故障诊断

针对滚动轴承目标域数据中额外故障状态样本影响其故障诊断精度的问题，提出了采用深度迁移学习与自适应加权的滚动轴承故障诊断方法。建立特征提取模块，利用深度卷积神经网络将轴承样本映射到高维特征空间；利用迁移学习思想设计加权领域鉴别器，对样本进行自适应加权，并通过在特征空间的对抗训练，增大目标域与源域共有健康状态样本的领域相似性，抑制目标域额外故障状态样本与源域样本的领域相似性增强；依据样本权重，度量目标域与源域样本的相似性，设定阈值将目标域额外故障状态样本标记为未知故障；将源域故障诊断知识迁移到目标域共有健康状态样本的故障识别中。利用齿轮箱轴承数据、凯斯西储大学滚动轴承数据和机车轮对轴承数据对提出的方法进行验证，结果表明：所提方法在3个数据集上均达到89%以上的诊断精度，而对比方法的诊断精度均低于80%。所提方法能够克服额外故障状态样本的影响，有效实现滚动轴承故障诊断。     

融入自注意力机制的社交媒体命名实体识别

相比规范新闻文本中命名实体识别(named entity recognition,NER),中文社交媒体中命名实体识别的性能偏低,这主要受限于文本的规范性和标注语料的规模。近年来中文社交媒体的命名实体识别研究主要针对标注语料规模小这一问题,倾向于使用外部知识或者借助联合训练来提升最终的识别性能,但对社交媒体文本不规范导致的对文本自身蕴含特征的挖掘不够这一问题的研究很少。该文着眼于文本自身,提出了一种结合双向长短时记忆和自注意力机制的命名实体识别方法。该方法通过在多个不同子空间捕获上下文相关信息来更好地理解和表示句子结构,充分挖掘文本自身蕴含的特征,并最终提升不规范文本的实体识别性能。在Weibo NER公开语料上进行了多组对比实验,实验结果验证了方法的有效性。结果表明:在不使用外部资源和联合训练的情况下,命名实体识别的F1值达到了58.76%。     

基于渐进式神经网络的机器人控制策略迁移

在机器人领域,通过深度学习方法来解决复杂的控制任务非常具有吸引力,但是收集足够的机器人运行数据来训练深度学习模型是困难的.为此,提出一种基于渐进式神经网络(progressive neural network,PNN)的迁移算法,该算法基于深度确定性策略梯度(deep deterministic policy gradient,DDPG)框架,通过把模型池中的预训练模型与目标任务的控制模型有机地结合起来,从而完成从源任务到目标任务的控制策略的迁移.两个仿真实验的结果表明,该算法成功地把先前任务中学习到的控制策略迁移到了目标任务的控制模型中.相比于其他基准方法,该算法学习目标任务所需的时间大大减少.     

基于域分离网络的实体解析迁移方法

实体解析致力于识别多条记录是否描述真实世界相同实体，这是数据清洗和数据集成中的关键问题.近年来，基于深度学习的实体解析广受欢迎，它们需要大量标注数据才能达到较优的效果.然而，在现实场景中，大量高质量标注数据不容易获得.本文提出了一个基于深度迁移学习的实体解析模型，通过域分离网络提取源域和目标域的公共特征，并利用公共特征得到实体解析结果，从而实现从源域到目标域的迁移.实验结果表明，在多个数据集上，本文提出的方法比之前最好的方法在F1度量上最大提高了40%左右.实验证明本文的方法具有更好的表现，并且训练时间更短.     

深度子领域迁移学习：一种细粒度主动迁移视角

迁移学习能以相关领域中的标注数据为基础，提升目标领域的学习效果。当领域间的数据分布差异很大时，会导致严重的负迁移问题。如何充分捕获源域和目标域之间的相似性，进一步挖掘更多有效信息，最终提高目标域的预测精度，是一个值得探索的问题。该文从细粒度主动迁移的视角，提出一种深度子领域迁移学习(Deep subdomain transfer learning, DSTL)算法，能迭代优化源域和目标域之间的相似性，提升模型预测性能。该文首先提出一种伪标签生成策略，对所有样本进行子领域的划分；制定中心+边缘的主动查询策略，获得关键代表性实例的真实标签；设计一种迭代分布优化策略，实现源域和目标域的子领域对齐，避免负迁移。将DSTL算法与传统迁移学习算法以及当前最新的深度迁移学习算法在主流的基准数据集上进行了测试。统计分析的结果表明，该文所提算法能实现性能的有效提升，扩大模型在实际应用中的适用范围。     

基于DNN的声学模型自适应实验

声学模型自适应算法研究目的是缓解由测试数据和训练数据不匹配而引起的识别性能下降问题.基于深度神经网络(DNN)模型框架的自适应技术中,重训练是最直接的方法,但极容易出现过拟合现象,尤其是自适应数据稀疏的情况下.文章针对领域相关的自动语音识别任务,对典型的两种声学模型自适应算法进行了尝试,实验了基于线性变换网络的自适应方法和基于相对熵正则化准则的自适应方法,并对两种算法进行了详尽的系统性能比较.结果表明,在不同的自适应数据量下,相对熵正则化自适应方法均能表现出较好的性能.     

多步桥接精化迁移学习

传统机器学习方法假设训练数据和测试数据分布一致,但在许多实际应用中这个假设并不能得到满足.针对该情况,文中提出了一种非参数化的迁移学习算法--多步桥接精化算法.首先构造一系列中间模型来建立不同领域之间的桥梁,然后在近邻的模型间进行标签传播,实现从源领域到目标领域的判别信息迁移.实验结果表明,分布相近的模型使迁移变得平滑...     

近红外光谱变分推断标定自适应方法研究

在近红外光谱分析中,已有的标定迁移方法多基于标准样本和无参数归纳模型,普遍存在模型生存周期短、适用范围小等问题.针对此问题,提出了一种参数化对齐源域(主仪器)和目标域(从仪器)特征分布的变分推断标定自适应(variational inference calibration adaptation, VICA)方法.VICA对源域数据进行主成分分析,建立源域特征的变分回归模型.在预测时,VICA首先将目标域数据投影到源域特征子空间中,然后建立源域特征和目标域特征的分布差异函数,通过最小化该函数得到目标域的概率密度模型,实现模型迁移.实验对比表明,VICA比现有的大多数标定迁移方法的标定效果更好.     

融合领域词典嵌入的航空不安全事件命名实体识别

针对航空不安全事件领域命名实体识别任务,以航空安全信息周报为数据源,分析并构建航空不安全事件命名实体识别数据集和领域词典。为解决传统命名实体识别模型对于捕获领域实体边界性能较差的问题,基于BERT(bidirectional encoder representations from transformers)预训练语言模型提出融合领域词典嵌入的领域语义信息增强的方法。在自建数据集上进行多次对比实验,结果表明：所提出的方法可以进一步提升实体边界的识别率,相较于传统的双向长短期记忆网络-条件随机场(bi-directional long short term memory-conditional random field, BiLSTM-CRF)命名实体识别模型,性能提升约5%。     

基于BLSTM-CRF中文领域命名实体识别框架设计

为在不依赖特征工程的情况下提高中文领域命名实体识别性能，构建了BLSTM-CRF神经网络模型。首先利用CBOW模型对1998年1月至6月人民日报语料进行负采样递归训练，生成低维度稠密字向量表，以供查询需要；然后基于Boson命名实体语料，查询字向量表形成字向量，并利用Jieba分词获取语料中字的信息特征向量；最后组合字向量和字信息特征向量，输入到BLSTM-CRF深层神经网络中。实验结果证明，该模型面向中文领域命名实体能够较好的进行识别，F1值达到91.86%。     

基于BERT和多头注意力的中文命名实体识别方法

针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题，提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注，提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明，改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明，BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition，NER)任务。     

基于CSGAN的多模型融合蒙汉神经机器翻译研究

由于低资源语料稀少而导致的语义捕获不充分现象已成为影响机器翻译质量的主要因素.为此,该文在预处理的基础上利用CNN和门控机制来改进Transformer模型,通过对抗训练的方式来引导模型参数的优化,同时通过加入命名实体识别来提高模型对实体的翻译性能.此外,通过多模型融合的方式将来自多个机器翻译的输出经过改进、重组、合并转变为一个单一的改进的翻译结果.通过3组对比实验表明,该方法优于基准方法.     

基于迁移学习的维吾尔语命名实体识别

针对维吾尔语命名实体识别存在无法关注词序列依赖关系等问题,提出一种基于迁移学习的联合深度模型(TBIBC).首先通过BERT(Bidirectional Encoder Representations from Transformers)预训练中文数据集生成具有语义信息的词向量,再将词向量序列通过空洞卷积神经网络(IDCNN)进行膨胀操作以减少神经元层数和参数,输出向量输入到双向门控循环单元(BiGRU)进行上下文语义信息提取,然后通过CRF层得到最优标签序列.模型采用共享深度神经网络隐藏层的方法将训练好的中文实体识别模型迁移到维吾尔语模型上.结果表明,该模型的准确率为91.39%,召回率为90.11%,F1值达到90.75%,能显著提升维吾尔语命名实体识别性能.     

基于BLSTM-CRF模型的安全漏洞领域命名实体识别

非结构化文本资源提供了大量与漏洞相关的信息,传统的特定领域实体识别依赖特征模板和领域知识来识别相关实体,其识别性能很大程度上依赖于人工选取的特征函数质量.如何利用机器挖掘文本隐含的特征,而不需要人工详细地制定领域术语的特征表达是一项具有挑战性的任务.该文针对安全漏洞领域,提出一种双向长短期记忆网络BLSTM与条件随机场CRF相结合的安全漏洞领域实体识别模型,并使用基于词典的方法对结果进行校正,F值可达到85%以上.实验表明,该方法在提高实体识别的准确率和召回率的同时,能够显著地降低人工选取特征的工作量.     

基于联合对抗训练的鲁棒度量迁移

迁移度量学习旨在从强大且可靠的距离度量中迁移知识来改善目标度量的效果,这些度量往往来自于学习目标相关的任务.现有的迁移度量学习算法仅关注于如何迁移知识,而这些知识容易过拟合到源域中.首先研究如何在源域中训练一个适合于迁移的源域度量,然后设计了一种通用的深度异质迁移算法来进行高效的迁移学习.值得注意的是,将源域度量以联合对抗学习的方式进行训练,再以深度神经网络的方式将其参数化表示并对其进行迁移.迁移中通过表征模仿的方式来学习源域度量中的知识,这种方式允许源域和目标域中的知识来自于异质域.此外,严格限制目标度量网络的大小,使得目标网络更够进行高效的推理计算.在人脸识别数据集上的实验展现了本方法的有效性.