藏文分词中交集型歧义字段的切分方法研究

藏文自动分词是藏文信息处理中一项不可缺少的基础性工作,是藏文搜索引擎、语法信息词典建设、机器翻译、语音合成、文本自动分类、自动摘要、自动校对等等研究的基础工作。藏文自动分词中歧义消除也是关键技术,文章提出了藏文交集型歧义的切分方法即双向扫描识别和最大概率分词算法进行处理的方法。     

浅析藏文分词中的几个概念

词、格助词、藏文信息和分词单位等概念是藏文分词过程中必须提及的几个专业术语。文章依据《咨询用中文信息处理分词规范》、《中文信息处理分词之基本词表》、《信息处理用现代汉语分词规范》和《分词词表》等地区和国家标准,结合藏文传统语法典籍和汉语语义分类体系,对这几个概念进行了论述。     

藏文搜索引擎中的分词算法研究

随着藏文信息技术的不断普及和发展,搜索引擎技术成为藏文信息处理一项新的研究课题.对搜集到的藏文网页文本或用户查询关键词进行理解、提取和组织等处理是搜索引擎的一项基础性工作,其中藏文分词的准确与否,直接影响到搜索引擎查询效果及查询结果列表的排序问题,因此分词成为藏文搜索引擎技术中需要解决的关键问题.文章针对藏文搜索引擎中基于字符串匹配的藏文分词技术进行研究并提出相应的解决算法.     

基于虚词切分的藏文分词系统的设计与实现

藏文分词是藏文自然语言处理的基础。根据藏文虚词在藏文文本中的特殊作用以及虚词的兼类性、结合性、黏着变体性和还原特性,设计实现了一个基于藏语虚词切分的正向最大匹配的藏文分词系统,该系统对原始文本进行逐次扫描处理得到分词结果。实验表明,文章提出的藏文分词系统具有较高的切分精度和切分速度。     

藏文信息处理研究进展

藏文有着悠久的历史,是藏族人民交流思想的工具。1997年,藏文编码字符集国际、国家标准的制定作为藏文信息处理的开始,至今正好20年。这20年中藏文信息处理起步、发展,取得了较好的成绩。本文简要回顾了藏文信息处理中字、词、句、段、篇的特点、处理方法及取得的典型成果,也回顾了藏语资源建设和应用研究取得的成果,并对藏文信息处理未来的发展方向进行展望。希望能为迈入藏文信息处理的初学者展示一个藏文信息处理发展的脉络,提供一个参考。     

基于混合模式的藏文音节切分

通过藏文格助词的接续、结构以及上下文特征,提出基于规则、支持向量机、还原法等三层混合模式的藏文音节切分方法.藏文音节切分是藏文字频统计、分词、词性标注和机器翻译等研究领域的基础,其中藏文紧缩格歧义现象的正确识别、切分和还原是藏文音节切分的难点.经实验,混合模式藏文音节切分的F值为99.97%.     

大型藏语平衡语料库建设中样本类别号的研究

藏文语料库是计算机研究藏语规律的素材,建设藏语语料库是藏文信息处理研究的基础和前提。语料库建设中样本的类别号是识别样本类别的依据,也是关联藏文语料信息库、样本文档和使用者的纽带,在语料库建设中非常重要。文章结合藏语平衡语料库的建设,设计了藏文语料数据库,划分了藏文语料库的类别并设计实现了样本类别号的产生方法。     

藏文信息处理教材建设的几点思考

藏文信息处理是以计算机为主要工具,以藏语言文字为处理对象的高新技术。藏文信息处理技术近二十多年的发展过程中,国内外已经开发出一大批藏文操作系统和应用软件,并取得了不同程度的推广和应用。但到目前为止,还没有一部科学、系统和全面的关于藏文信息处理技术方面的专业教材,这使得对该领域有着浓厚兴趣的学生无法系统地掌握这门新学科。文章根据藏文信息处理技术研究领域的成果,就《藏文信息处理》教材建设提出了几点思考和建议。     

藏文文本分词赋码一体化研究

在藏文文本理解中虚词发挥着重要的句法、语义桥接作用,其规则的有效性在藏文分词处理中扮演着特殊的角色。由于虚词本身及其角色的丰富性,在一定意义上可以说藏文分词处理是虚词识别的过程。因此,虚词识别的正确与否直接影响着藏文文本分词处理的效果。文章依据藏语自身的语法规律和虚词功能的特殊性,首先构建了虚词知识库、虚词兼类库,以及其作为藏文连续文本中识别虚词的依据;其次,研制了标有词汇属性的分词词表和一定规模的训练语料库资源,以基于条件随机域（CRF）的方法进行词性标注,并结合虚词和词性赋码的资源制作了藏文自动分词赋码一体化处理的模型。     

大型藏语平衡语料库建设中样本类别号的研究

藏文语料库是计算机研究藏语规律的素材,建设藏语语料库是藏文信息处理研究的基础和前提.语料库建设中样本的类别号是识别样本类别的依据,也是关联藏文语料信息库、样本文档和使用者的纽带,在语料库建设中非常重要.文章结合藏语平衡语料库的建设,设计了藏文语料数据库,划分了藏文语料库的类别并设计实现了样本类别号的产生方法.     

藏语动词的黏着性及屈折性变化研究

文章以藏文传统文法理论为依据,以具有黏着性和屈折性变化的动词特征作为研究对象,分析和说明了藏语动词的各个式和时态下其形态的变化情况,并从中总结了拟测式、判断式、否定式、命令式、推断式等5种式和3个时态的分类。这对藏语动词属性库的建立和分类精细化方面提供了新的视角,并且为词性标注、自动分词、机器翻译、自然语言理解等藏文信息处理领域的各项研究工作打下了基础。     

基于BiLSTM_CRF模型的藏文分词方法

藏文分词是实现藏文语音合成和藏文语音识别的关键技术之一。提出一种基于双向长短时记忆网络加条件随机场(bidirectional long-short-term memory with conditional random field model, BiLSTM_CRF)模型的藏文分词方法。对手工分词的语料经过词向量训练后输入到双向长短时记忆网络(bidirectional long-short-term memory, BiLSTM)中,将前向长短时记忆网络(long-short-term memory, LSTM)和后向LSTM学习到的过去输入特征和未来输入特征相加,传入到线性层和softmax层进行非线性操作得到粗预测信息,再利用条件随机场(conditional random field, CRF)模型进行约束性修正,得到一个利用词向量和CRF模型优化的藏文分词模型。实验结果表明,基于BiLSTM_CRF模型的藏文分词方法可取得较好的分词效果,分词准确率可达94.33%,召回率为93.89%,F值为94.11%。     

藏语动词的黏着性及屈折性变化研究

文章以藏文传统文法理论为依据,以具有黏着性和屈折性变化的动词特征作为研究对象,分析和说明了藏语动词的各个式和时态下其形态的变化情况,并从中总结了拟测式、判断式、否定式、命令式、推断式等5种式和3个时态的分类.这对藏语动词属性库的建立和分类精细化方面提供了新的视角,并且为词性标注、自动分词、机器翻译、自然语言理解等藏文信息处理领域的各项研究工作打下了基础.     

基于国际标准编码系统的藏文分词词典机制研究

藏文分词词典是藏文自动分词系统的的重要组成部分.词典的数据结构与检索速度直接影响到自动分词系统的质量.文章对几种常见的汉语分词词典机制及其效率进行了分析,并根据藏文基本集编码字符串的结构特征,提出了一种逐音节二分的藏文分词词典机制.     

我校《大型藏文基础语料库建设》获国家语言文字工作委员会立项资助

由文学院次旦扎西教授主持申报的《大型藏文基础语料库建设》,经国家语言文字工作委员会科研规划领导小组办公室组织的专家评审获立项资助,经费60万元。本课题的目标是:建立一个1.5亿万藏文字符的大型藏文平衡语料库,并结合计算机自动处理与人工处理方式,抽取3000万藏文字符的生语料,进行分词和属性标注等深层次加工,得到藏文基本标注语料库,以便为进一步的语料库文本的语言学和计算语言学研究奠定基础。此课题还将借助计算机技术和语言学理论的新成就及其研究方法,建设大型的藏文基础语料库,对于弘扬民族文化具有十分重要的意义。将为藏语…     

信息处理用彝文分词规范研究

自动分词是彝文信息处理领域的一项基础性课题.词类的划分标准是正确切分词乃至以后的词性标注、文字识别、文本校对、机器翻译、篇章理解、自动文摘、文本校对、自动标引等彝文信息处理研究的必要条件.本文首先首先阐述了研究彝文分词规范的必要性和重要意义; 然后提出了彝文分词规范的基本原则; 讨论了研制彝文分词规范中存在的一些问题.     

基于小字符集的藏文自动分词技术研究

文章针对传统藏文分词的切词难点及切分歧义现象,提出一种基于小字符集的藏文自动分词技术方案.其中包括分词预处理、多级Hash词典机制、藏文格助词紧缩格的判别及还原规则、逐字匹配算法和未登录词的处理等内容.     

回顾藏文信息处理技术的发展

藏文有着悠久的历史,藏文字包含着丰富的信息。信息时代,对藏文的处理提出了新的研究课题——用计算机来处理藏文信息。八十年代中后期开始了藏文信息的研究工作,并且取得了较好的成绩。文章详细回顾了藏文的字处理、藏语自然语言处理、藏文软件本地化以及藏文信息处理在应用领域中的研究。     

基于既定词表的彝文自动分词技术研究

自动分词是彝文信息处理中一项不可缺少的基础性工作,彝文信息处理只要涉及到检索、翻译、校对等,就需要以词为基本单位。本文根据彝文的特点,介绍了彝文分词规范与分词词表的设计,提出了实现基于既定词表的彝文自动分词技术的算法选择、系统结构,以及实现流程,而且进行了抽样测试,其分词准确率和速度都比较令人满意。最后结合彝文的特点对实现彝文自动分词的难点进行了分析。     

基于条件随机场的藏文人名识别研究

本文首先分析了藏文人名的特点以及藏文人名识别的难点,在此基础上,利用条件随机场模型,分别提出了采用基于亚音节标注的藏文人名识别方法和分词与词性标注一体化的藏文人名识别方法.