面向非结构化文本的开放式实体属性抽取

从非结构化文本中抽取给定实体的属性及属性值,将属性抽取看作是一个序列标注问题.为避免人工标注训练语料,充分利用百度百科信息框(Infobox)已有的结构化内容,对非结构化文本回标自动产生训练数据.在得到训练语料后,结合中文特点,选取多维度特征训练序列标注模型,并利用上下文信息进一步提高系统性能,进而在非结构化文本中抽取出实体的属性及属性值.实验结果表明:该方法在百度百科多个类别中均有效;同时,该方法可以直接扩展到类似的非结构化文本中抽取属性.     

基于直推式学习的半监督属性抽取

针对在文本信息抽取研究中传统的监督学习方法存在标注工作量大和时间代价高等缺点,提出一种改进的半监督学习模型。该模型利用支持向量机的分类优势以及直推式学习在未标注样本上的泛化特点,先用少量标注语料进行学习,同时测试新语料,然后再加入到模型当中一起训练,调整预测规律。在领域实体属性抽取试验中,与传统的支持向量机学习方法相比,该模型能够在小语料条件下取得较好的抽取效果,泛化学习能力较强,可以节省大量的人力成本。     

应用轻量模型的半自动标注试卷版面拆解研究

为了提升数据标注速率，本文采用了一种应用轻量模型、后处理实施半自动化标注的方法，实现试卷版面拆解的快速开发与应用。使用LCNet改进PicoDet网络的轻量预训练模型，对已经标注的小样本训练基础模型修改网络输出，基础模型预测剩余样本的数据转换为标注格式，经过人工校验以后的全样本标注数据使用更大规模主干网络的PicoDet网络训练最终模型。经过实验验证，本文提出的半自动标注的方法与人工标注相比，数据标注速率提升195%，标注所花费时间周期缩短86.47%，项目开发周期得到大幅度缩短，经过版面拆解处理的文档图像调用百度OCR接口，可快速实现文档图像到文档的转换。     

基于SBN模型的Internet应用协议识别方法

针对网络流量协议标注比较困难的问题,提出一种基于贝叶斯网络的半监督学习模型,以提高Inter-net协议的识别精度.该模型首先使用少量的标注样本训练贝叶斯网络分类模型,并对未标注样本进行初始分类,然后从未标注样本中挑选分类损失最小的样本加入到训练集中并重复训练分类模型,经过多次循环训练出最终的分类器.该模型可以使用未标注样本和标注样本共同训练分类模型,非常适合于标注比较困难的Internet应用协议的识别.实验结果表明：在标注样本较少的情况下,该模型的识别精度和稳定性均优于朴素贝叶斯模型和贝叶斯网络模型,对于提高Internet协议的识别精度是有效的.     

面向互联网食品文本实体关系联合抽取研究

传统实体关系抽取方法中存在错误传播、实体冗余等问题,食品文本语料中存在主实体对应多个关系的特点,针对此情况,提出一种面向互联网食品文本领域的实体关系联合抽取方法。采用序列标注标签和实体关系匹配规则,将实体关系抽取任务转化为序列标注问题;引入基于位置感知的领域词注意力机制的字词双维度语义编码向量,增强文本的语义表征;在对句子进行字词双维度表示的基础上结合双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)和条件随机场(conditional random field, CRF)构建了序列标注模型(position attention-bidirectional encoder representation from transformer, PA-BERT),实现实体关系联合抽取。对比实验证明,提出的实体关系联合抽取模型在食品数据集上的准确率比常用深度神经网络模型高出6%～11%,在食品文本实体关系抽取中是有效性的。     

基于新型关系注意力机制的实体关系抽取

实体关系抽取是信息抽取领域的一项关键技术,在知识库自动构建、问答系统等领域有着极为重要的意义.远程监督关系抽取技术利用大型知识库(Knowledge Base,KB)自动对语料进行标注,但存在噪声过大的问题.前人提出的注意力模型中利用实体对的向量表示相减得到关系语义表示,进而使用关系表示来达到降噪的效果,然而同一实体对...     

基于语义模式的半监督中文观点句识别研究

大规模和高质量的标注语料是进行监督算法分类器训练的重要前提,而进行大规模的语料标注是一项费时费力的工作,并且针对特定的领域还需要该领域专家的介入.提出一种基于语义模式的半监督中文观点句识别方法,可以通过小规模语料的训练识别出中文观点句.首先,通过语义模型提取算法从训练集当中识别出观点句语义模型和非观点句语义模型;然后,将两种模型转化为语义特征,并且加入词汇特征和词性特征两方面特征,通过BootStrapping对小规模标注语料进行训练,得到朴素贝叶斯分类器;接着,使用朴素贝叶斯分类器对大规模未标注的语料进行分类,将可信度高的样本加入训练模型迭代进行训练,直到无样本加入;最后经过多轮迭代得到最终的分类器.实验表明,该方法在只具备少量样本的情况下就可达到83.7%的准确性,证明了该方法的有效性.     

基于无监督模型的低资源词性标注实验对比和分析

[目的]研究无监督词性标注模型在低资源语言上的性能表现.[方法]尝试利用无监督词性标注模型,包括高斯隐马尔科夫模型(Gaussian HMM,GHMM)、最大化互信息模型(mutual information maximization, MIM)与条件随机场自编码器(conditional random filed autoencoder, CRF-AE),展开低资源词性标注实验.基于对前人工作的凝练,在英文宾州树库上设置了少样本和词典标注两种低资源场景.[结果]无监督词性标注模型能够在少样本场景中超越条件随机场模型,但在词典标注场景中却始终逊色于条件随机场模型.[结论]无监督损失更加擅长对高频词进行建模,使得模型在少样本场景下获得更好的性能表现;同时无监督损失倾向于生成更加均匀的词性分布,从而降低模型在词典标注场景下的性能.     

针对命名实体识别的数据增强技术

近年来,深度学习方法被广泛地应用于命名实体识别任务中,并取得了良好的效果.但是主流的命名实体识别都是基于序列标注的方法,这类方法依赖于足够的高质量标注语料.然而序列数据的标注成本高昂,导致命名实体识别训练集规模往往较小,这严重地限制了命名实体识别模型的最终性能.为了在不增加人工成本的前提下扩大命名实体识别的训练集规模,本文分别提出了基于EDA(Easy Data Augmentation)、基于远程监督、基于Bootstrap(自展法)的命名实体识别数据增强技术.通过在本文给出的FIND-2019数据集上进行的实验表明,这几种数据增强技术及其它们的组合能够低成本地增加训练集的规模,从而显著地提升命名实体识别模型的性能.     

基于伪标注样本融合的领域分词方法

目前常用的神经网络分词模型,均需要大量的标注语料才可得到较好的泛化效果,但在面对领域标注语料稀缺的场景时,不能很好的适应。为解决这一问题,该文提出了一种基于伪标注样本融合的领域分词方法。该方法从领域专业辞典、电商及百科网站等数据源收集相关词汇组成领域词典,并从中随机抽取词汇生成伪标注样本。将伪标注样本与通用语料融合为训练样本,即将领域词典信息融合至模型训练当中。网络模型方面,该方法选用双向门限循环神经网络(Bidirectional Gate Recurrent Unit,BiGRU)作为主网络层,联合一维卷积(One-dimensional convolutional neural network,Conv1D)获取更多局部上下文信息,最终由条件随机场(Conditional random field,CRF)解码输出。通过实验证明,该文的方法可以有效提高模型的领域分词性能,与未使用伪样本的模型相比可提升F1值约6.67%。     

基于BERT模型的司法文书实体识别方法

采用手工分析案件卷宗，容易产生案件实体遗漏现象及提取特征效率低下问题.为此，使用基于双向训练Transformer的编码器表征预训练模型.在手工标注的语料库中微调模型参数，再由长短时记忆网络与条件随机场对前一层输出的语义编码进行解码，完成实体抽取.该预训练模型具有巨大的参数量、强大的特征提取能力和实体的多维语义表征等优势，可有效提升实体抽取效果.实验结果表明，本文提出的模型能实现89%以上的实体提取准确度，显著优于传统的循环神经网络和卷积神经网络模型.     

面向武器装备领域的复杂实体识别

针对武器装备领域复杂实体的特点, 提出一种融合多特征后挂载武器装备领域知识的复杂命名实体识别方法。首先, 使用BERT 模型对武器装备领域数据进行预训练, 得到数据向量, 使用Word2Vec模型学习郑码、五笔、拼音和笔画的上下位特征, 获取特征向量。然后, 将数据向量与特征向量融合, 利用Bi-LSTM模型进行编码, 使用CRF解码得到标签序列。最后, 基于武器装备领域知识, 对标签序列进行复杂实体的触发检测, 完成复杂命名实体识别。使用环球军事网数据作为语料进行实验, 分析不同的特征组合、不同神经网络模型下的识别效果, 并提出适用于评价复杂命名实体识别结果的计算方法。实验结果表明, 提出的挂载领域知识且融合多特征的武器装备复杂命名实体识别方法的F1值达到95.37%, 优于现有方法。     

基于MacBERT-BiLSTM-CRF的反恐领域细粒度实体识别

为验证基于深度学习的命名实体识别框架在反恐领域的有效性,参照ACE 2005实体标注规范,制订了细粒度反恐实体标签体系,构建了反恐实体语料集Anti-Terr-Corpus;提出基于MacBERT-BiLSTM-CRF的实体识别模型,通过能减少预训练和微调阶段差异的MacBERT(masked language modeling as correction bidirectional encoder representations from transformers)预训练语言模型获得动态字向量表达,送入双向长短时记忆(bidirectional long short-term memory, BiLSTM)和条件随机场(conditional random field, CRF)进行上下文特征编码和解码得到最佳实体标签;替换框架中的预训练语言模型进行对比实验。实验表明该模型可以有效获取反恐新闻中的重要实体。对比BiLSTM-CRF模型,MacBERT的加入提高了24.5%的F_1值;保持编码-解码层为BiLSTM-CRF时,加入MacBERT比加入ALBERT(a lite BERT)提高了5.1%的F_1值。可见,深度学习有利于反恐领域实体识别,能够利用公开反恐新闻文本为后续反恐形势预判服务,同时有助于反恐领域信息提取、知识图谱构建等基础性任务。     

中文嵌套命名实体关系抽取研究

为了解决嵌套命名实体关系抽取研究缺乏相关语料库这一问题, 在现有中文命名实体语料库的基础上, 将人工标注与机器学习相结合来抽取其语义关系。人工标注一个中文嵌套命名实体关系语料库, 然后分别采用支持向量机和卷积神经网络等方法, 进行中文嵌套实体关系抽取实验。实验结果表明, 在人工标注实体的中文嵌套命名实体语料上, 嵌套实体关系抽取的性能非常好, F1指数达到95%以上, 而在自动识别实体上的抽取性能尚不理想。     

基于机器阅读理解的中文司法实体识别优化策略研究

针对中文司法领域信息抽取数据集中实体专业性较强、现有机器阅读理解(MRC)模型无法通过构建问句提供充足的标签语义且在噪声样本上表现不佳等问题,本研究提出了一种联合优化策略。首先,通过聚合在司法语料中多次出现的实体构建司法领域词典,将专业性较强的实体知识注入RoBERTa-wwm预训练语言模型进行预训练。然后,通过基于自注意力机制来区分每个字对不同标签词的重要性,从而将实体标签语义融合到句子表示中。最后,在微调阶段采用对抗训练算法对模型进行优化,增强模型的鲁棒性和泛化能力。在2021年中国法律智能评测(CAIL2021)司法信息抽取数据集上的实验结果表明：相较于基线模型,本研究方法F1值提高了2.79%,并且模型在CAIL2021司法信息抽取赛道中获得了全国三等奖的成绩,验证了联合优化策略的有效性。     

基于分层序列标注的实体关系联合抽取方法

为了提高实体关系联合抽取的效果,提出一种端到端的联合抽取模型(HSL).HSL模型采取一种新的标记方案,将实体和关系的联合抽取转化成序列标注问题,同时采用分层的序列标注方式来解决三元组重叠问题.实验证明,HSL模型能有效地解决三元组重叠问题,在军事语料数据集上F1值达到80.84％,在公开的WebNLG数据集上F1值达...     

融合属性信息的知识表示方法

现有的联合知识表示学习模型使用实体描述作为辅助信息来提升表示效果,忽略了互联网中大量有价值的信息。为此,提出一种融合属性信息的知识表示学习方法(AIKR)。首先抓取实体的不同属性,并通过莱文斯坦距离从语料库中匹配属性对应的说明文本;然后利用卷积神经网络对说明文本进行编码;最后将得到的实体属性表示与翻译模型生成的结构表示相结合进行联合学习。实验结果表明,相比仅利用实体描述的方法,融合属性信息的知识表示方法可以学习到更多的语义信息,取得了更好的表示效果。     

基于分层标注的中文嵌套命名实体识别

中文命名实体识别在中文信息处理中扮演着重要的角色. 在中文信息文本中, 许多命名实体内部包含着嵌套实体. 然而, 已有研究大多聚焦在非嵌套实体识别, 无法充分捕获嵌套实体之间的边界信息. 采用分层标注方式进行嵌套命名实体识别(nested named entity recognition, NNER), 将每层的实体识别解析为一个单独的任务, 并通过Gate过滤机制来促进层级之间的信息交换. 利用公开的1998年《人民日报》NNER语料进行了多组实验, 验证了模型的有效性. 实验结果表明, 在不使用外部资源词典信息的情况下, 该方法在《人民日报》数据集上的F1值达到了91.41%, 有效提高了中文嵌套命名实体识别的效果.     

基于BERT-Bi-LSTM-CRF模型的机场类中文航行通告要素实体识别

航行通告是民用航空情报领域的重要情报资料,针对中文航行通告专业名词较多、格式不统一及语义复杂等问题,提出一种基于BERT-Bi-LSTM-CRF的实体识别模型,对航行通告E项内容中事件要素实体进行抽取。首先通过BERT(bidirectional encoder representations from transforms)模型对处理后的向量进行预训练,捕捉丰富的语义特征,然后传送至双向长短期记忆网络(bidirectional long short-term memory, Bi-LSTM)模型对上下文特征进行提取,最后利用条件随机场(conditional random field, CRF)模型对最佳实体标签预测并输出。收集并整理机场类航行通告相关的原始语料,经过文本标注与数据预处理,形成了可用于实体识别实验的训练集、验证集和评价集数据。基于此数据与不同的实体识别模型进行对比实验,BERT-Bi-LSTM-CRF模型的准确率为89.68%、召回率为81.77%、F1值为85.54%,其中F1值相比现有模型得到有效提升,结果验证了该模型在机场类航行通告中要素实体识别的有效性。     

一个中文实体链接语料库的建设

鉴于现有中文实体链接基准语料库的缺乏, 在ACE2005中文语料库和中文维基百科的基础上, 通过自动构造和人工标注的方法, 构建一个中文实体链接语料库及其相关的中文知识库。与传统的英文实体链接语料库不同, 构造的中文实体链接语料库是基于实体而非单个实体指称(Mention)。中文实体链接语料库的构建, 将为中文实体链接研究提供一个可用的基准平台。