基于深度学习和多特征融合的中文电子病历实体识别研究

电子病历实体识别是医疗领域人工智能和医疗信息服务中非常关键的基础任务.为了更充分地挖掘电子病历中的实体语义知识以提升中文医疗实体识别效果,提出融入外部语义特征的中文电子病历实体识别模型.该模型首先利用语言模型word2vec将大规模的未标记文本生成具有语义特征的字符级向量,接着通过医疗语义资源的整合以及实体边界特征分析构建了医疗实体及特征库,将其与字符级向量相拼接以更好地挖掘序列信息,最后采用改进的Voting算法将深度学习结果与条件随机场(Conditional Random Fields,CRF)的结果加以整合来纠正标签偏置.实验表明,融入外部语义特征的改进模型的F值达到94. 06%,较CRF高出1. 55%.此外,还给出了模型最佳效果的各项参数.     

体育赛事命名实体识别研究

为了准确地从中文文本中识别出复杂体育赛事命名实体,提出了一种基于双层条件随机场模型的命名实体识别方法.该方法首先在低层条件随机场模型中识别出简单体育赛事命名实体,然后在高层条件随机场模型中识别出嵌套了简单体育赛事命名实体的复杂命名实体如赛事名、参赛球队名和比赛场馆名.在对大规模真实语料进行的开放测试中,赛事名、参赛球队名和比赛场馆名识别的F值分别达到97.09%,97.81%和98.03%.     

基于CNN-CRF的中文电子病历命名实体识别研究

智慧医疗技术的发展让我们不满足仅使用传统方法做医学研究。针对中文电子病历实体识别问题,设计了一种基于卷积神经网络结合条件随机场(convolutional neural network-conditional random field,CNN-CRF)的实体识别算法框架。为得到高质量的词向量,将标注实体加入词典进行分词,并将已标注和未标注文本作为语料,用word2vec工具对已分词文本进行无监督学习;为避免扩张卷积层数增加导致过拟合,采用迭代扩张卷积处理输入向量,并使用dropout随机丢弃一些连接;运用条件随机场对网络的分类结果进行修正。把该方法在中文电子病历上进行对比试验,从病历中提取出身体部位,疾病,症状,检查及治疗5类实体。实验结果表明,该方法能有效地辨别病历中的实体,其识别的准确率、召回率和f1值分别为90.01%,90.62%,90.31%,准确率和速率比传统方法都有一定提高。     

基于cw2vec-BiLSTM-CRF的汽车名称和属性识别方法

用户评论产品时经常带有明确的指向,例如,针对产品的某一部分或某一功能做出评价,因此,评论中的产品名称和产品属性的识别显得尤为重要。文章使用了cw2vec模型对中文文本进行表示,在此基础上,使用双向长短期记忆模型融合了条件随机场模型对产品中的对象和属性进行识别。该方法利用长短期记忆模型对上下文信息进行有效建模,同时利用条件随机场模型作为标签推理层很好地解决序列标签的依赖问题。通过在汽车领域数据上进行实验,实验结果表明cw2vec-BiLSTM-CRF模型在产品名称和产品属性识别任务中的是有效的。与仅使用CRF模型相比,产品名称的识别准确率、召回率、F值分别提升了5.87%、5.59%、5.89%,产品属性的识别准确率、召回率、F值分别提升了6.36%、4.41%and 5.28%。     

基于层叠条件随机场的中文医疗机构名识别

针对目前中文医疗机构名识别问题,提出一种基于层叠条件随机场模型的中文医疗机构名识别方法;该方法第一层条件随机场(CRF)模型基于词粒度,结合自定义词典,实现人名、地名以及简单机构名识别,将最终的结果传递到第二层CRF模型;第二层CRF模型通过词性、词界以及上下文等特征最终完成对复合嵌套的医疗机构名实体的识别。结果表明:在封闭实验中,该方法识别正确率达到94.6%,召回率达到96.2%;在开放实验中,该方法识别正确率达到92.3%,召回率达到90.2%。本文模型相比于结合规则的单层CRF模型,F值分别提高1.99%、2.8%,总体结果得到显著改善。     

基于BERT-Bi-LSTM-CRF模型的机场类中文航行通告要素实体识别

航行通告是民用航空情报领域的重要情报资料,针对中文航行通告专业名词较多、格式不统一及语义复杂等问题,提出一种基于BERT-Bi-LSTM-CRF的实体识别模型,对航行通告E项内容中事件要素实体进行抽取。首先通过BERT(bidirectional encoder representations from transforms)模型对处理后的向量进行预训练,捕捉丰富的语义特征,然后传送至双向长短期记忆网络(bidirectional long short-term memory, Bi-LSTM)模型对上下文特征进行提取,最后利用条件随机场(conditional random field, CRF)模型对最佳实体标签预测并输出。收集并整理机场类航行通告相关的原始语料,经过文本标注与数据预处理,形成了可用于实体识别实验的训练集、验证集和评价集数据。基于此数据与不同的实体识别模型进行对比实验,BERT-Bi-LSTM-CRF模型的准确率为89.68%、召回率为81.77%、F1值为85.54%,其中F1值相比现有模型得到有效提升,结果验证了该模型在机场类航行通告中要素实体识别的有效性。     

基于条件随机场的维吾尔人名识别方法

人名识别是自然语言处理中具有挑战性的任务之一。该文实现了基于条件随机场的维吾尔人名识别。首先从对维吾尔语黏着性特点的分析入手,研究总结了维吾尔人名的构成特点,实现了以词形、词性、词干、后缀、首音节、最后一个音节和最近一个动词等为特征,基于条件随机场的维吾尔语人名识别方法,并设计了选取最佳特征模板的贪婪算法。实验结果表明:该方法达到了较高的性能,识别维吾尔人名的准确率、召回率和F-score分别达到了90.03%、82.96%和86.35%。     

基于词内部模式的中文新词识别研究

提出了一种基于支持向量机的中文新词识别算法.该算法结合新词内部模式以及词长等提出了基于词内部模式的改进字符位置似然概率,并综合新词的邻接类别等特征对新词进行识别.经过小说语料测试,实验结果表明：该算法的微F1值为0.583 3,宏F1值为0.775 7,分别比不考虑词内部模式的基准算法提高约63%和30%.     

融合多特征的中文产品命名实体识别

针对中文产品命名实体,提出了一种基于多种特征融合的识别方法。该方法以词为标注粒度,将多种特征融合到条件随机场模型中,采用递增式学习策略选取最优的特征模板,实现了从中文自由文本中识别产品命名实体。实验表明,该方法获得了令人满意的实验效果,准确率、召回率和F值分别达到94.87%、92.50%和93.67%。     

一种基于句子结构特征的领域术语上下位关系获取方法

针对领域本体构建中概念上下位关系获取难的问题,提出融合句子结构特征的概念上下位语义关系抽取方法。首先利用层叠条件随机场（cascaded conditional random fields, CCRFs）算法建模实现概念上下位实体识别,然后通过对句子结构特征分析得出融合概念上下位关系的句子结构特征,最后利用融入句法特征基于支持向量机（support vector machine,SVM）建模的方法实现概念上下位关系抽取。为验证提出方法的有效性,以旅游领域上下位实体关系抽取为例进行了相关实验。实验结果表明：基于CCRFs模型的识别效果相对于现有的单层模型有较大改进, 其F值提高了6.57％;加入句法特征基于SVM概念上下位关系抽取方法较现有的基于条件随机场(conditional random fields,CRFs)概念上下位关系抽取方法更有效,其F值提高了4.68％。     

基于条件随机场模型的蒙古文地名自动识别研究

根据蒙古文地名的特点,引入词性特征、字典特征、实体指示词特征以及外文地名用词特征,基于条件随机场模型对蒙古文地名自动识别问题进行研究.结果表明,该模型对蒙古文地名识别的准确率为95.45%,召回率为79.41%,F值为86.70%.     

汉语并列关系的识别研究

针对汉语并列关系的标注方式, 提出一种基于条件随机场模型的并列关系自动识别方法。从语料库中自动抽取并列关系的角色信息, 进行角色标注, 在条件随机场模型的基础上实现并列关系的识别。与基于图的依存分析方法比较, 并列关系的召回率和正确率分别提高了9.1%和13.8%。     

基于角色分离的中文事件抽取研究

端到端的事件抽取涉及两个子任务：事件检测和事件元素抽取，当前大多数研究工作并未解决元素抽取中角色重叠的问题，并且忽略了数据集提供的静态信息。文章提出一种基于两个独立编码器的事件抽取模型，通过词典增强的序列标注方法检测触发词和事件类型，再将事件类型、实体类型和边界信息作为元素抽取阶段的补充特征，使用多个角色二分类网络实现“分离式”的元素识别和角色分类，最后将基于静态数据统计得到的角色辨识度对所有分类器的损失函数加权求和，作为最终的损失函数，进而更好地拟合数据集特点。在两个公开的中文数据集ACE2005和DuEE上，实验F1值分别达到57.1%和76.1%，并且该方法有效提高了对角色重叠事件的识别准确率。     

利用条件随机场实现DNA剪接位点的预测

为解决传统的基因识别算法主要关注编码区的整体特性,而并不着重考虑个别位点的信息,因此难以准确地识别出剪接位点的缺点,提出了基于条件随机场的剪接位点预测方法,条件随机场能够更好的处理标记数据之间的依赖关系,并且能够避免数据标记偏置的问题。实验结果表明基于条件随机场的剪接位点预测方法是一种合适的方法,能够取得更好的效果。     

预训练模型下航天情报实体识别方法

为了快速处理航天情报,基于数据驱动的深度学习技术,提出融合多源异构知识标注中文航天情报数据集的方法流程,以及基于预训练(pre-training)模型的航天情报实体识别(AIER)方法;通过对航天情报进行命名实体识别,达到对航天情报进行信息抽取的目的.通过融合BERT(bidirectional encoder representation from transformers)预训练模型和条件随机场(CRF)模型构建AIER模型(BERT-CRF模型),将其与隐马尔可夫模型(HMM)、条件随机场(CRF)模型、双向长短期记忆网络加条件随机场(BiLSTM-CRF)模型进行实体识别对比实验.结果表明:基于预训练模型的AIER模型能够取得93.68%的准确率、97.56%的召回率和95.58%的F₁值;相比于其他方法,基于预训练模型方法的性能得到提高.     

日语时间表达式识别与日汉翻译研究

基于自定义知识库, 提出一种知识库强化规则集以及与统计模型相结合的日语时间表达式识别方法,旨在不断提高时间表达式的识别精准度。按照Timex2标准对时间表现的细化分类, 结合日语时间词的特点, 渐进地扩展重构日语时间表达式知识库, 实现基于知识库获取的规则集的优化更新。同时, 融合条件随机场CRF统计模型, 提高日语时间表达式识别的泛化能力。通过考察基于短语的翻译模型翻译时间词的精度, 提出统计机器翻译(SMT)结合规则翻译日语时间词的必要性。实验结果显示, 日语时间表达式识别的开放测试F1值达到0.8987, 基于《日汉时间词平行字典》与规则的翻译精度和召回率都略高于基于统计机器翻译模型。     

基于均值中心孪生卷积神经网络的DGA域名识别

相比于大多数仅依赖域名的特征进行DGA域名识别方法的特征值选取有限、分类准确度较低的问题，提出了利用数字证书和域名共同解析的特征向量识别DGA域名的方法.另外，为了提升计算准确度和时间效率，提出了带有均值中心的孪生卷积神经网络——MCSCNN模型，用于DGA域名的分类识别中.将所提出的方法应用于20种DGA域名的分类识别中，得到的准确度(A),精确度(P),召回率(R)以及F1值(F1)结果分别是98.35%,98.11%,98.38%以及98.42%,比对比算法的最优值分别提高了5.68%,4.76%,7.24%以及4.2%.在时间效率上MCSCNN所用时间只是对比算法最优时间的1/108,极大地提升了运算效率.     

古汉语句子切分与句读标记方法研究

利用自然语言理解技术进行古汉语断句及句读标注的主要挑战是数据稀疏问题.为了解决这一难题,设计了一种六字位标记集,提出了一种基于层叠式条件随机场模型的古文断句与句读标记方法.基于六字位标集,低层模型用观察序列确定句子边界,高层模型同时使用观察序列和低层的句子边界信息进行句读标记.实验在5 M混合古文语料上分别进行了封闭测试和开放测试,封闭测试断句与句读标注的F值分别达到96.48%和91.35%,开放测试断句与句读标注的F值分别达到71.42%和67.67%.     

基于条件随机场的越南语命名实体识别方法

针对越南语特点,提出一种基于条件随机场模型的越语命名实体识别方法。该方法针对越语词和词性的特点,采用条件随机场算法,选取词和词性作为特征,定义特征模版,选取越南语新闻文本,标记地名、人名、组织机构等6类实体语料,训练获得越南语实体识别模型,实现实体识别。实验结果表明该方法提取实体的准确率达到83．73％。     

基于多特征双向门控神经网络的领域专家实体抽取方法

命名实体识别是自然语言处理和信息提取的基本任务,传统专家命名实体识别方法存在过度依赖人工特征标注和分词效果、专家简介中大量专业新词无法识别等问题.本文提出一种基于多特征双向门控神经网络结构并结合条件随机场模型进行领域专家实体抽取方法.该方法首先通过构建领域专家语料库以训练实体抽取模型;接着,使用Bert方法进行字嵌入表示,对语料库专业领域词汇构造要素进行特征分析并提取边界特征;然后,利用双向门控神经网络和注意力机制有效获取特定词语长距离依赖关系;最后,结合条件随机场模型实现命名实体识别.在同一数据集上进行5种方法实验比较分析,结果表明该模型较BiLSTM-CRF和IDCNN-CRF方法F1值提高9.98%以上.