藏文文本自动校对方法及系统设计

以藏文音节拼写检查、梵音转写藏文检查、接续关系检查、词语检查为研究内容, 提出藏文文本自动校对框架和接续关系检查算法。根据该框架及算法, 设计并实现藏文自动校对系统。通过实验证明算法和系统的可靠性和有效性。     

基于统计的藏文音节字校对系统开发研究

音节字是构成藏文文本的基本单位,也是整个现代藏文自动校对的基础。音节字校对的结果直接影响词校对的正确率,从而对词、格助词、句法和语义校对等产生重要影响。文章以语料库统计得到的藏文音节字字表、二元同现表和纠错建议表等作为语言知识库,以藏文音节字的错误类型为依据,设计了字表匹配和查找同现概率为侦错方法、用纠错建议表进行纠错的音节字校对系统。     

藏文文本词校对模型研究

文章描述藏文文本校对在国内外的发展现状，并借鉴国内外自动校对技术及算法研究的最新成果，提出基于词的藏文文本校对模型的研究方案。针对藏文文本的复杂特征和容易出现的错误状况，提出了统计与规则相结合的校对方案。     

自动校对中现代藏文音节字研究

现代藏文自动校对中,对音节字（ ）的校对是其基础。在藏文文本中音节字是用音节点进行间隔的,由于藏文二维的书写特征和音节字形成过程中与其构件之间严格的搭配规则等诸多问题,使得对它的校对又区别于任何一种文字。文章介绍了音节字的构件、结构和搭配规则等问题,列举了藏文音节字中的错误类型,并针对其特殊性给出了一个特有的音节字校对的流程和方法。     

藏文分词中交集型歧义字段的切分方法研究

藏文自动分词是藏文信息处理中一项不可缺少的基础性工作,是藏文搜索引擎、语法信息词典建设、机器翻译、语音合成、文本自动分类、自动摘要、自动校对等等研究的基础工作。藏文自动分词中歧义消除也是关键技术,文章提出了藏文交集型歧义的切分方法即双向扫描识别和最大概率分词算法进行处理的方法。     

藏文音节校对模型建设研究

文章就藏文字处理领域对藏文校对功能的实际需要,提出了基于音节的藏文文本校对方案对藏语音节规则的详细描述.采用统计方法对藏语音节的搭配规则等做了探索性的研究,创建了音节及音节搭配规则等多种知识库,以这些知识库为基础进行音节模式匹配查错.设计实现了音节规则模型与音节库模式匹配方法相结合的音节级查错.通过借鉴藏文传统语法理论、现代语言学理论、计算机技术和统计学理论等知识,介绍了藏文文本校对的设计思想,给出了藏文文本校对系统的组成原理、关键技术及可操作的实现方法.实验结果表明,基于音节的查错方案是可行的.为进一步研究开发藏文智能校对软件提供了所需的规则特征集和统计语料等基础性的研究资料.也为将来实现基于词、语法和语义层面的校对奠定了基础.     

现代藏文文本校对设计方案研究

文章在win8操作系统支持下,设计并实现了基于音节的现代藏文文本校对功能。通过分析和研究藏文音节的拼写规则,对传统藏语中的音节拼写规则进行了详细的形式化描述。采用统计方法对藏语音节的搭配规则做了探索性的研究,创建了音节搭配规则知识库,以这些知识库为基础进行音节模式匹配查错,创建了音节规则校对模型,运用音节规则模型实现现代藏文文本的音节级校对功能。     

藏文网页抓取及编码统一转换的系统研究

藏文文本资源的收集对藏语信息处理研究有着至关重要的作用.文章在分析国内外藏文网页主要编码方式的基础上,提出了藏文网页的编码识别、自动获取与过滤,文本编码统一转换的算法.系统主要包括网页编码识别网页、自动获取、文本过滤、编码转换等几个模块.在windows平台下对系统的测试结果良好,为藏语电子文本的收集和整理提供了方便、快捷的平台.     

面向信息处理的藏文文本规范化方法研究

针对藏文信息处理的需求,提出了一套层次化、基于规则的藏文文本规范化处理方案.首先分析整理了藏文文本中的不规范文本类型,然后根据藏文文本中不同类型的不规范文本特征,分别设计文本规范化算法,并用程序实现了藏文文本的规范化.最后对该方法进行了实验测试,测试结果表明该方法能较好地实现藏文文本的规范化.     

基于国际标准编码系统的藏文分词词典机制研究

藏文分词词典是藏文自动分词系统的的重要组成部分.词典的数据结构与检索速度直接影响到自动分词系统的质量.文章对几种常见的汉语分词词典机制及其效率进行了分析,并根据藏文基本集编码字符串的结构特征,提出了一种逐音节二分的藏文分词词典机制.     

基于Markov模型的改进型疑错窗口算法

提出了一种改进型疑错窗口方法,同时基于该方法提出了一种新的中文文本校对方法。该方法预先用窗口技术初步定位可能存在错误的语段,然后再在各个疑错窗口内运用Markov模型进行定错和校对。由于该新方法较大程度地减小了校对候选矩阵的维数,因而相比传统的Markov模型,该方法有更小的计算复杂度。试验结果表明,相比传统方法,新方法在时间复杂性和空间复杂性上得到了明显降低,而纠错效果基本不变。     

藏文文本分词赋码一体化研究

在藏文文本理解中虚词发挥着重要的句法、语义桥接作用,其规则的有效性在藏文分词处理中扮演着特殊的角色。由于虚词本身及其角色的丰富性,在一定意义上可以说藏文分词处理是虚词识别的过程。因此,虚词识别的正确与否直接影响着藏文文本分词处理的效果。文章依据藏语自身的语法规律和虚词功能的特殊性,首先构建了虚词知识库、虚词兼类库,以及其作为藏文连续文本中识别虚词的依据;其次,研制了标有词汇属性的分词词表和一定规模的训练语料库资源,以基于条件随机域（CRF）的方法进行词性标注,并结合虚词和词性赋码的资源制作了藏文自动分词赋码一体化处理的模型。     

基于虚词切分的藏文分词系统的设计与实现

藏文分词是藏文自然语言处理的基础。根据藏文虚词在藏文文本中的特殊作用以及虚词的兼类性、结合性、黏着变体性和还原特性,设计实现了一个基于藏语虚词切分的正向最大匹配的藏文分词系统,该系统对原始文本进行逐次扫描处理得到分词结果。实验表明,文章提出的藏文分词系统具有较高的切分精度和切分速度。     

The Research of Chinese Text Proofreading Algorithm

Generally, text proofreading consists of two procedures, finding the wrongly used words and then presenting the correct forms. At present, most of the Chinese text proofreading focuses on finding the wrongly used words, but pays less attention to correcting these errors. In this paper, the Chinese text features are interpreted first and then a Chinese text proofreading method and its algorithm are introduced. In this algorithm, text features, including text statistical feature and language structure feature, are properly used. Here, correcting errors goes on at the same time with finding errors. Experimental results show that this method has a performance of detecting 75% of wrongly used Chinese words and correcting about 60% of them with the first candidates.     

The Research of Chinese Text Proofreading Algorithm

Generally, text proofreading consists of two procedures, finding the wrongly used words and then presenting the correct forms. At present, most of the Chinese text proofreading focuses on finding the wrongly used words, but pays less attention to correcting these errors. In this paper, the Chinese text features are interpreted first and then a Chinese text proofreading method and its algorithm are introduced. In this algorithm, text features, including text statistical feature and language structure feature, are properly used. Here, correcting errors goes on at the same time with finding errors. Experimental results show that this method has a performance of detecting 75% of wrongly used Chinese words and correcting about 60% of them with the first candidates.     

藏文音节规则模型及应用

首先介绍藏文音节独特的构造方法, 以及藏文字母的语音特性带来的藏文组合形式上的诸多限制。然后以藏文音节为研究对象, 借助藏文语法规则, 建立现代藏文音节的简化模型和相应的规则库,并介绍其应用领域。最后提出一种基于音节模型的的藏文音节自动拼写算法, 并通过实验验证规则方法的有效性。     

基于LZ77算法的藏文文本压缩算法设计与实现

随着信息量的不断增加,用计算机处理的文本文件越来越大,需要对庞大的藏文文本进行数字化处理,如何节约资源对藏文文本进行高效压缩显得极为重要。项目在LZ77算法基础上结合藏文的特点和当前文本压缩的技术主流完成了关于藏文文本压缩的设计和实现工作,按照藏文特点有效的提高了藏文文本压缩率。这种压缩算法是针对藏文特点的两个子算法和目前主流的LZ77压缩算法合成的。