多特征中文命名实体识别

命名实体识别任务是对文本中的实体进行定位，并将其分类至预定义的类别中.目前主流的中文命名实体识别的模型是基于字符的命名实体识别模型.该模型在使用句法特征之前，需先进行分词，不能很好的引入句子的句法信息.另外，基于字符的模型没有利用词典中的先验词典信息，以及中文偏旁部首蕴含的象形信息.针对上述问题，论文提出了融合句法和多粒度语义信息的多特征中文命名实体识别模型.实验证明论文模型相对目前主流模型有了较大的提高，同时论文还通过实验分析了各种特征对模型识别效果的影响.     

面向规范性文件的基于BERT的文本纠错模型

针对行政规范性文件的文本纠错任务,提出了基于BERT(Bidirectional Encoder Representations from Transformers)的文本纠错模型,模型针对冗余、缺失、错序、错字四类任务分别建模,分为检错和纠错两个阶段。检错阶段检查出文本是否有错、错误的位置以及错误的类型等内容,纠错阶段运用BERT掩码语言模型和混淆集匹配的方法预测文本缺失内容。实验结果表明:新提出的基于BERT的文本纠错模型在行政规范性文件的文本纠错任务中的F1值为71.89%,比经典的中文文本纠错工具Pycorrector提升了9.48%。     

融合多粒度语义特征的中文情感分析方法

中文情感分析是自然语言处理的重要研究内容,旨在探究中文文本中蕴含的情感倾向.近年来,中文情感分析研究取得了长足进步,但鲜有研究根据语言本身特征和下游任务需求进行探讨.鉴于此,针对中文文本的特殊性以及情感分析的实际需求,在字、词特征的基础上,引入部首特征和情感词性特征,利用双向长短期记忆网络、注意力机制、循环卷积神经网络等模型,提出了融合字、词、部首、词性等多粒度语义特征的中文文本情感分析方法.在融合各类特征的基础上,利用softmax函数进行情感预测.数据集NLPECC(natural language processing and Chinese computing)上的对比实验结果表明,所提方法的F₁值均达到84.80%,一定程度上提高了已有方法的性能,较好地完成了中文文本情感分析任务.     

一种不需分词的中文文本分类方法

提出了一种不需分词的n元语法文本分类方法.与传统文本分类模型相比,该方法在字的级别上利用了n元语法模型,文本分类时无需进行分词,并且避免了可能造成有用信息丢失的特征选择过程.由于字的数量远小于词的数量,所以该分类方法与其它在词级别上的分类方法相比,有效地降低了数据稀疏带来的影响.系统地研究了模型中的关键因素以及它们对分类结果的影响.使用中文TREC提供的数据进行实验,结果表明,综合评价指标Fβ=1达到86.8%.     

基于BERT-BiGRU-CRF的电子简历命名实体识别

针对现有的中文电子简历命名实体识别任务中,模型在训练过程中出现字向量表示单一和无法较好地处理字的多义性问题,提出了一种基于BERT的中文电子简历命名实体识别模型。该模型将电子简历的文本数据通过BERT进行字符级编码,根据上下文语境丰富字的语义信息,有效解决了一词多义的问题;将得到的字向量输入到双向门控循环单元进行特征提取,获取文本的上下文特征;利用条件随机场进行解码并生成标签序列,得到命名实体。实验结果表明,该模型能够有效提高中文电子简历命名实体识别的准确率。     

基于ChineseBert的中文拼写纠错方法

中文拼写错误主要集中在拼音相似和字形相似两个方面，而通用的预训练语言模型只考虑文本的语义信息，忽略了中文的拼音和字形特征.最新的中文拼写纠错（Chinese Spelling Correction,CSC）方法在预训练模型的基础上利用额外的网络来融入拼音和字形特征，但和直接微调预训练模型相比，改进的模型没有显著提高模型的性能，因为由小规模拼写任务语料训练的拼音和字形特征，和预训练模型获取的丰富语义特征相比，存在严重的信息不对等现象.将多模态预训练语言模型ChineseBert应用到CSC问题上，由于ChineseBert已将拼音和字形信息放到预训练模型构建阶段，基于ChineseBert的CSC方法不仅无须构建额外的网络，还解决了信息不对等的问题.由于基于预训练模型的CSC方法普遍不能很好地处理连续错误的问题，进一步提出SepSpell方法 .首先利用探测网络检测可能错误的字符，再对可能错误的字符保留拼音特征和字形特征，掩码对应的语义信息进行预测，这样能降低预测过程中错误字符带来的干扰，更好地处理连续错误问题.在三个官方评测数据集上进行评估，提出的两个方法都取得了非常不错的结果 .     

基于多头注意力和词共现关系的方面级情感分析

针对特定目标的情感分析是文本情感细粒度理解任务的重要内容.已有研究大多通过循环神经网络和注意力机制来建模文本序列信息和全局依赖,并利用文本依赖解析树作为辅助知识,但这些方法没有充分利用目标词与文本词之间的依赖关系,也忽略了训练语料库中的词共现关系,而词共现信息往往意味着一种语法搭配.为了解决上述问题,提出一种目标依赖的多头自注意力网络模型.该模型首先设计内联和外联两种不同的注意力机制用于建模文本词和目标词的隐藏状态和语义交互;其次,该模型构建了语料库级别和句子级别的词共现图,并通过图卷积网络将词共现信息融合进文本的特征表示学习并用于下游分类任务.在五个标准数据集上进行了对比实验,实验结果表明,提出的模型在方面级情感分析任务中的性能优于所有对比模型.     

藏文文本词校对模型研究

文章描述藏文文本校对在国内外的发展现状，并借鉴国内外自动校对技术及算法研究的最新成果，提出基于词的藏文文本校对模型的研究方案。针对藏文文本的复杂特征和容易出现的错误状况，提出了统计与规则相结合的校对方案。     

一种改进的中文词嵌入模型

针对当前中文词嵌入模型无法较好地建模汉字字形结构的语义信息,提出了一种改进的中文词嵌入模型.该模型基于词、字和部件(五笔编码)等粒度进行联合学习,通过结合部件、字和词来构造词嵌入,使得该模型可以有效学习汉字字形结构所蕴含的语义信息,在一定程度上提升了中文词嵌入的质量.     

结合主题模型与自监督学习的可控文本生成技术研究

基于大型预训练语言模型的有监督学习方法在可控文本生成任务上取得了优秀的成果，但这些研究都着重于控制生成文本的高级属性(比如情感与主题),而忽略了泛化性问题.现有的基于自监督学习的研究方法则通过句子级别的训练来使模型获得补全整句的能力，使模型做到单词和短语级别的控制生成，但生成与特定属性强相关句子的能力依旧待提升.所以本文提出了一种单词级别(细粒度)与句子(粗粒度)级别相结合的多粒度训练方式：单词级别的主题模型让模型学习主题层面的语义以获得主题到文本的生成能力，句子级别的自监督训练让模型学习整句的表征以获得补全句子的能力.通过主题模型与自监督学习的结合，使模型在单词与短语级别的可控生成阶段取得了更好的效果.实验表明，本文提出的模型在主题契合度以及常规文本生成指标方面优于现有的基线模型.     

基于镜像学习和复合二次距离的手写汉字识别

为解决手写汉字识别中的相似字混淆问题,提出了一种基于镜像学习和复合二次距离的识别算法,提高现有的二次分类器对相似汉字的鉴别能力。该算法为识别置信度较低的训练样本生成镜像虚拟样本,通过迭代训练来调整易混淆字符类别间的分类界面,并对二次分类器给出的候选字使用复合二次距离进行两两鉴别,以减少识别错误。在HCL 2000样本库上的实验表明,该算法能有效提高手写汉字识别的性能,测试集上的误识率下降了20%。     

结合多头自注意力机制与 BiLSTM-CRF的中文临床实体识别

命名实体是电子病历中相关医学知识的主要载体,因此,临床命名实体识别(Clinical Named Entity Recognition,CNER)也就成为了临床文本分析处理的基础性任务之一.由于文本结构和语言等方面的特殊性,面向中文电子病历(Electronic Medical Records,EMRs)的临床命名实体识别依然存在着巨大的挑战.本文提出了一种基于多头自注意力神经网络的中文临床命名实体识别方法.该方法使用了一种新颖的融合领域词典的字符级特征表示方法,并在BiLSTM-CRF模型的基础上,结合多头自注意力机制来准确地捕获字符间潜在的依赖权重、语境和语义关联等多方面的特征,从而有效地提升了中文临床命名实体的识别能力.实验结果表明本文方法超过现有的其他方法获得了较优的识别性能.     

融合汉字字形信息的文本关系抽取

关系抽取任务旨在从文本中抽取实体对之间的关系,是当前自然语言处理领域的热门方向之一.由于中文具有复杂的句式和语法,导致现有的神经网络提取的特征以及语义表示能力较差,从而影响中文关系抽取的性能.汉字是象形文字,其字形结构在一定程度上隐含了字义,为此提出了包含字形级别实体表示的BERT_BI-GRU_Glyph模型.模型中...     

基于双向注意力流和自注意力结合的机器阅读理解

机器阅读理解(Machine Reading Comprehension,MRC)一直是自然语言处理(Natural Language Processing,NLP)领域的研究热点和核心问题.近期,百度开源了一款大型中文阅读理解数据集DuReader,旨在处理现实生活中的RC(Reading Comprehension)问题.该数据集包含1000k的文本、200k的问题和420k的答案,是目前最大型的中文机器阅读理解数据集,在此数据集上发布的阅读理解任务比以往更具有实际意义,也更有难度.针对该数据集的阅读理解任务,分析研究了一种结合双向注意力流与自注意力(self-attention)机制实现的神经网络模型.该模型通过双向注意力流机制来获取query-aware上下文信息表征并进行粒度分级,使用自注意力机制捕捉文本和问题句内的词语依赖关系和句法信息,再通过双向长短期记忆(Long Short-Term Memory,LSTM)网络进行语义信息聚合.实验结果最终得到相同词数百分比(BLEU-4)为44.7%,重叠单元百分比(Rouge-L)为49.1%,与人类测试平均水平较为接近,证明了该模型的有效性.     

面向低资源场景的论辩挖掘研究

由于论辩挖掘任务的复杂性，其往往需要大规模的相关语料进行训练；但当前的研究工作大多是针对单一领域数据进行建模求解，在数据较为匮乏的新兴领域中，论辩挖掘任务难以开展。因此，提出了一种面向低资源场景的多任务学习的论辩挖掘方法。该方法首先通过卷积神经网络（CNN）和高速神经网络（Highway）对原文本的字符信息进行编码，获得多个数据集在词级的共享信息表示，然后由双向的有序神经元-长短时记忆循环神经网络（Bi-ON-LSTM）进一步处理词级信息和任务相关特征的联合表示,挖掘文本中潜藏的层级结构信息。最后使用条件随机场（CRF）对模型进行求解得到最终的序列标注结果。该文实验采用德国UKP实验室的学生论文数据集、维基百科文章等六个数据集进行相关的对比实验。实验结果表明，该文提出的方法在宏观F1值上较基准模型有1%-2%的提升，有效地提升模型的整体性能。     

针对无切分维吾尔文文本行识别的字符模型优化

基于隐含Markov模型(hidden Markov model,HMM)的无切分文本行识别方法能够利用概率图的思想,同步完成文本行图像的切分与识别,避免因字符预切分失败而导致的识别错误,但对字符模型的设计与训练要求很高,并且在多字体融合问题中难以提高模型泛化性能。该文通过分析模型状态在图像层面的聚类意义,先提出基于观测合理聚类的模型结构优化方法,再提出结构与参数相结合的字符模型优化策略,最后将其应用于多字体维吾尔文文本行的无切分识别系统。实验结果表明,该方法能够改善模型的状态分配合理性,并且在多字体融合问题中提高了模型泛化性能和状态利用效率。     

词典信息分层调整的中文命名实体识别方法

在中文命名实体识别任务中，字信息融合词汇信息能丰富文本特征，但一个字可能对应多个候选词汇，容易产生词汇冲突，融合无关词汇信息会影响模型的识别效果，对此提出了词典信息分层调整的中文命名实体识别方法。首先将所有潜在词语按照词语长度进行分层，通过高层词语反馈调整低层词语的权重来保留更有用的信息，以此缓解语义偏差问题和降低词汇冲突影响；然后将词汇信息拼接到字信息来增强文本特征表示。在Resume和Weibo数据集上的实验结果表明，本文方法与传统方法相比具有更优的效果。     

基于语料库文本自动分类算法及应用比较研究

基于Python语言,利用公开中文语料库,测试不同算法模型对中文文本分类的效果.选择语料中不同数量的语料种类,首先对文本进行格式化读取、清洗等处理,而后以2:1:1的比例,分为训练集、验证集、测试集,最后依照文本表示、特征提取、分类算法选择、效果评估的步骤,依次在词袋、词嵌入、语言3种模型中选取典型代表进行中文文本分类.在深度学习模型的帮助下,文本分类得到了快速的发展,当前的主流分类方法基本都能满足不同任务的文本分类需求,特别是BERT语言模型可极大地提升文本分类的效果.     

基于改进LeNet-5模型的手写体中文识别

手写体中文的自动识别是中文文档数字化的前提和基础,由于中文字符数目繁多、相似性强、字体种类繁多、书写随意、缺乏统一规范等原因,一直是计算机视觉领域中一个具有挑战性的问题.为解决这一难题,提出了一种基于卷积神经网络的手写体中文识别方法.在经典LeNet-5网络模型的基础上进行改进,提出了一种LeNet-Ⅱ模型.利用改进的Inception模块和空洞卷积,设计了一种并行的双路卷积神经网络结构;两路分支可分别提取手写中文图像中不同尺度的特征,获得多个尺度的特征图像;通过对其进行特征融合,可以达到丰富特征图像多样性、提升识别准确率的目的;最后经过全连接层进行分类.利用经典手写体中文数据集进行训练,利用该模型实现了3 755类手写体中文字符及相关文本的自动识别.实验结果表明,基于改进LeNet-5模型的手写体中文识别方法,在同一训练数据集上的收敛速度和识别准确率明显优于经典LeNet-5模型,对经典数据集的识别准确率可以达到95.21%,也高于其他传统算法;此外,对4幅手写体中文文本的平均识别准确率达到97.30%,超出了人类表现,取得了理想的实际效果.     

一种无监督的中文漫画对白自动定位方法

针对中文漫画图像的特点, 提出一种无监督的中文漫画图像对白自动定位方法, 以满足中文漫画移动阅读的需求。不同于现有基于学习的方法, 该方法不需要训练集, 且具有较强的鲁棒性, 主要包括3个步骤: 1) 利用包围漫画图像文字的空白区域(气泡)的连通性进行气泡检测, 并在气泡中检测完整字符对; 2) 基于字符形状与字符排版规则的一致性, 聚类形成字符行或字符列, 并提取字体特征; 3) 联合多页漫画图像字体特征, 利用贝叶斯分类器检测多页漫画中的剩余字符。在包含900页漫画图像的数据集上进行实验, 结果表明, 该方法可以有效定位中文漫画图像中的对白区域, 取得比较满意的实验结果。