CRF与规则相结合的藏文人名识别方法

文章就藏文人名本身的特性分析了人名识别的难点,提出了CRF与规则相结合的藏文人名识别方法.该方法首先以CRF作为机器学习模型,充分利用藏文人名的各类特征,然后针对人名不能全面召回的问题,利用规则方法进行后处理,最终建立了一种优势互补的识别模型.实验结果表明,该文提出的方法具有较好的性能,F-值可达91.55.     

汉藏机器翻译中汉族人名翻译问题探讨

在机器翻译中,对于人名的翻译是个比较棘手的问题,本文仅对汉族人名翻译成藏文这个问题进行一些讨论.     

基于Naive Bayes的藏文人名性别自动识别

藏文指代消解是藏文信息处理的重要内容也是难点之一.本文利用Naive Bayes模型实现了藏文人名性别的自动识别,从而达到人称代词消解的目的.本方法根据人名的结构和用字(syllable)信息,利用Naive Bayes模型进行机器学习,对3463个藏族人名数据进行开放语料的测试,男女综合人名的准确率达到了99.31%.     

统计与规则相结合的藏文句子自动断句方法

 藏文句子断句是藏文信息处理领域的难点之一,也是藏汉机器翻译、藏文文本分类等工作的一项重要基础性研究.提出了一种统计与规则相结合的藏文句子自动断句方法以解决藏文标点符号功能的歧义问题,实验结果表明该方法具有比较好的效果,F1值达到98%以上.在规则中首先使用经验的方法,识别出不确定的藏文句子作为候选句子,然后采用基于关联词的复句分析方法进行分句合并形成二次候选句子;最后使用最大熵的方法对二次候选句子进行断句.经验方法和复句分析有效解决了最大熵算法无法触及的语料稀疏和分句问题.     

藏文乌金印刷体文本图像自动分割技术研究

藏文字符分割是藏文印刷体识别技术中的关键技术之一,高精度的字符分割是图像文本识别的主要因素,分割的效果直接影响最终的识别.该文通过研究藏文字形结构和文本图像分割技术,提出了投影法和连通域分割法相结合的藏文音节分割方法.在不同的喜马拉雅字体文本图像上分割测试准确率达99.31%,在卷积网络模型上藏文音节识别准确率比字丁高2.7%,表明藏文音节分割方法的有效性.     

基于条件随机场的藏文人名识别技术研究

文本挖掘中命名实体识别是一项重要的研究内容,利用统计学原理进行命名实体识别具有较高的识别率.利用条件随机场(conditional random fields,CRF)方法,研究藏文人名识别技术,重点探讨藏文人名的内部结构特征、上下文特征、特征选择和数据预处理等内容,并通过实验分析了不同特征的有效性.首先给出了基于字(音节)和字位信息的人名识别方法;其次研究了触发词、虚词、人名词典和指人名词后缀为特征的不同特征组合与优化,并细化了不同虚词对人名识别的作用;最后,通过不同组合的实验测试,结果表明:1)触发词和作格助词特征在藏文人名识别上能够起到积极的作用;2)不同特征窗口大小对人名识别有一定影响;3)利用CRF识别藏文人名F1值能够达到80%左右,但由于藏文两字人名的高歧义性,目前还达不到与其他语言相近的识别效果.     

基于规则的藏文识别后处理研究

基于藏文音节规则的识别后处理方法,总结了音节规则的约束条件 试验表明该方法在藏文文本识别后处理中具有较高的自适应性 在《印刷藏文(汉英混排)文档识别系统》的测试中,50万字的藏文测试样本,识别率在97.3%的基础上提高了0.3%,显示出该方法具有良好的效果     

大型藏语平衡语料库建设中样本类别号的研究

藏文语料库是计算机研究藏语规律的素材,建设藏语语料库是藏文信息处理研究的基础和前提.语料库建设中样本的类别号是识别样本类别的依据,也是关联藏文语料信息库、样本文档和使用者的纽带,在语料库建设中非常重要.文章结合藏语平衡语料库的建设,设计了藏文语料数据库,划分了藏文语料库的类别并设计实现了样本类别号的产生方法.     

基于条件随机场的藏文人名识别研究

本文首先分析了藏文人名的特点以及藏文人名识别的难点,在此基础上,利用条件随机场模型,分别提出了采用基于亚音节标注的藏文人名识别方法和分词与词性标注一体化的藏文人名识别方法.     

融合藏族人名音节特征的性别自动识别

藏族人名的性别自动识别是自然语言处理中非常重要的基础性问题之一.文章中提出了融合音节特征的SVM模型藏族人名性别识别方法,采用支持向量机(SVM)模型为基本框架,依据藏族人名的构词特征和统计分析,设计了特征模板,使支持向量机模型有效地处理藏族人名性别识别问题.实验结果表明,在包含18 821个藏族人名的103974个句子中,随机抽取3 764个藏族人名作为测试语料,对SVM的高斯核、线性核、多项式核和S型核等4个常用核函数做了实验,性别自动识别的准确率分别达到99.98%、98.81%、96.98%和95.45%.     

基于规则和统计相结合的地名实体识别的研究

提出了一种在构造内部规则和外部规则的同时采用概率统计的中文地名实体的识别方法,并利用这种基于规则和统计相结合的方法对测试语料库进行识别测试,实验证明该方法获得了较高的准确率和召回率,具有可行性和合理性,同时也指出了它的局限性.     

基于互信息的中文姓名识别方法

提出并实现了一个基于互信息的中文姓名识别方法,该方法充分挖掘姓名和其上下文信息的关联程度以及姓名用字之间关联程度的信息,引入互信息对其进行定量的描述;提出中文姓名的上下文互信息、内部互信息等概念,并对其建立了动态评价函数,开放测试结果表明,该方法有效地提高了中文姓名识别的效果,保证了较高的精确率和召回率。     

基于Naive Bayes的中文人名识别研究

在传统的只统计人名用字的Naive Bayes分类算法的基础上,将人名上下文边界融入其中,并利用从大规模语料库中统计的人名用字、边界模板频率对人名定界,再通过扩散操作召回遗漏人名。该方法简单易行,并能取得很好的效果。实验结果表明,其F值达到了93.28%。     

基于条件随机场的英文农产品名识别

英文农产品命名实体识别目前国内外研究得较少,提出了一种基于条件随机场模型(CRF)的英文农产品命名实体识别方法.在条件随机场中,该方法以词作为切分粒度,充分利用上下文和英文农产品名特有的指示信息作为分类特征进行建模.实验表明,该方法获得了较好的结果.     

基于分层标注的中文嵌套命名实体识别

中文命名实体识别在中文信息处理中扮演着重要的角色. 在中文信息文本中, 许多命名实体内部包含着嵌套实体. 然而, 已有研究大多聚焦在非嵌套实体识别, 无法充分捕获嵌套实体之间的边界信息. 采用分层标注方式进行嵌套命名实体识别(nested named entity recognition, NNER), 将每层的实体识别解析为一个单独的任务, 并通过Gate过滤机制来促进层级之间的信息交换. 利用公开的1998年《人民日报》NNER语料进行了多组实验, 验证了模型的有效性. 实验结果表明, 在不使用外部资源词典信息的情况下, 该方法在《人民日报》数据集上的F1值达到了91.41%, 有效提高了中文嵌套命名实体识别的效果.     

基于PCA与ICA的人脸识别算法研究

ICA是一种基于数据高阶统计信息的有效的数据独立特征提取技术,它能够更好地表示人脸的局部特征,ICA是PCA从二阶统计分析向高阶统计分析的拓展.本文提出了一种加权融合这两种技术的人脸特征提取算法,并结合不同的相似性度量进行了人脸识别实验.结果表明,该方法比用一种单独的特征提取方式识别率要高.     

Event Type Recognition Based on Trigger Expansion

Event extraction is an important research point in information extraction, which includes two important sub-tasks of event type recognition and event argument recognition. This paper describes a method based on automatic expansion of the event triggers for event type recognition. The event triggers are first extended through a thesaurus to enable the extraction of the candidate events and their candidate types. Then, a binary classification method is used to recognize the candidate event types. This method effectively improves the unbalanced data problem in training models and the data sparseness problem with a small corpus. Evaluations on the ACE2005 dataset give a final F-score of 61.24%, which outperforms traditional methods based on pure machine learning.     

中文语料库分词不一致的分类处理研究

大规模语料库中分词结果不一致现象影响着语料库分词质量.在对150万汉字熟语料进行了统计分析的基础上,我们定义了语料库中分词结果不一致的主要结构类型;采用规则的方法检验校对字串的分词不一致,在对150万汉字语料库的封闭测试中,正确率为86.94%.     

复述平行语料构建及其应用方法研究

以汉语为研究对象,提出构建大规模高质量汉语复述平行语料的方法.基于翻译引擎进行复述数据增强,将英语复述平行语料迁移到汉语中,同时人工构建汉语复述评测数据集.基于构建的汉语复述数据,在复述识别和自然语言推理任务中验证复述数据构建及其应用方法的有效性.首先基于复述语料生成复述识别数据集,预训练基于注意力机制的神经网络句子匹...     

一种模糊传感器数据融合的方法

基于模糊传感器数据相关的特性，给出了一种模糊传感器数据融合的方法．该方法从传感器的重要度，各个传感器对模糊命题支持度的一致度，以及传感器重要度对数据融合结果的复合作用3个方面分析了它们对模糊传感器数据集成的影响．定义了一个一致性系数综合反映了这3个因素．基于该一致性系数实现了模糊传感器的数据融合，并将该方法用于工件识别中．