藏文搜索引擎中的分词算法研究

随着藏文信息技术的不断普及和发展,搜索引擎技术成为藏文信息处理一项新的研究课题.对搜集到的藏文网页文本或用户查询关键词进行理解、提取和组织等处理是搜索引擎的一项基础性工作,其中藏文分词的准确与否,直接影响到搜索引擎查询效果及查询结果列表的排序问题,因此分词成为藏文搜索引擎技术中需要解决的关键问题.文章针对藏文搜索引擎中基于字符串匹配的藏文分词技术进行研究并提出相应的解决算法.     

藏文信息处理中自动分词方法的研究

藏文分词是藏文信息处理领域的一项不可缺少的基础性工作,也是智能化藏文信息处理的关键所在。在藏文分词的研究过程中藏文分词的准确性,直接制约着藏文输入法研究、藏文电子词典建设、藏文词频统计、搜索引擎的设计和实现、机器翻译系统的开发、藏文语料库建设以及藏语语义分析研究等高层藏文信息处理技术的进一步发展。本文借鉴汉语的分词理论和方法,提出符合藏文特性的分词方法,以及歧义字段切分和未登录词识别等相关问题,并举例说明。     

藏文文本分词赋码一体化研究

在藏文文本理解中虚词发挥着重要的句法、语义桥接作用,其规则的有效性在藏文分词处理中扮演着特殊的角色。由于虚词本身及其角色的丰富性,在一定意义上可以说藏文分词处理是虚词识别的过程。因此,虚词识别的正确与否直接影响着藏文文本分词处理的效果。文章依据藏语自身的语法规律和虚词功能的特殊性,首先构建了虚词知识库、虚词兼类库,以及其作为藏文连续文本中识别虚词的依据;其次,研制了标有词汇属性的分词词表和一定规模的训练语料库资源,以基于条件随机域（CRF）的方法进行词性标注,并结合虚词和词性赋码的资源制作了藏文自动分词赋码一体化处理的模型。     

基于小字符集的藏文自动分词技术研究

文章针对传统藏文分词的切词难点及切分歧义现象,提出一种基于小字符集的藏文自动分词技术方案.其中包括分词预处理、多级Hash词典机制、藏文格助词紧缩格的判别及还原规则、逐字匹配算法和未登录词的处理等内容.     

基于国际标准编码系统的藏文分词词典机制研究

藏文分词词典是藏文自动分词系统的的重要组成部分.词典的数据结构与检索速度直接影响到自动分词系统的质量.文章对几种常见的汉语分词词典机制及其效率进行了分析,并根据藏文基本集编码字符串的结构特征,提出了一种逐音节二分的藏文分词词典机制.     

基于虚词切分的藏文分词系统的设计与实现

藏文分词是藏文自然语言处理的基础。根据藏文虚词在藏文文本中的特殊作用以及虚词的兼类性、结合性、黏着变体性和还原特性,设计实现了一个基于藏语虚词切分的正向最大匹配的藏文分词系统,该系统对原始文本进行逐次扫描处理得到分词结果。实验表明,文章提出的藏文分词系统具有较高的切分精度和切分速度。     

藏文分词中交集型歧义字段的切分方法研究

藏文自动分词是藏文信息处理中一项不可缺少的基础性工作,是藏文搜索引擎、语法信息词典建设、机器翻译、语音合成、文本自动分类、自动摘要、自动校对等等研究的基础工作。藏文自动分词中歧义消除也是关键技术,文章提出了藏文交集型歧义的切分方法即双向扫描识别和最大概率分词算法进行处理的方法。     

基于依存句法的藏文属格结构统计研究

传统藏文文法格在功能上真实地反映了藏文句法结构,藏文中的属格表示人或事物之间的限制或领属、修饰、复指、总别和依存关系等,可作前置定语.藏文中名词短语是指语法功能相当于名词的短语,一般可以在句子中充当主语、宾语、定语等.文章采用语料实证和结构分析的方法,从句法功能的角度对属格助词在藏文名词短语中的结构及功能进行分析研究,从句法结构上总结和归纳了其结构特征,为多语言句法结构树库和框架语义构建提供最基本的语法信息.     

统计与规则相结合的藏文人名自动识别研究

提出了一种基于统计与规则相结合的藏文人名自动识别方法.该方法充分挖掘了人名与上下文信息的关联程度,引入互信息对关联程度进行了定量的描述.根据大规模语料(30.2 M文本语料)的统计数据所建立的规则极大地提高了识别算法的准确率;在处理汉族音译人名情况时,采用姓氏驱动的方法,很好地解决了藏文文本中汉族人名的识别问题.实验结果表明,该方法具有较高的准确率和召回率.     

基于BiLSTM_CRF模型的藏文分词方法

藏文分词是实现藏文语音合成和藏文语音识别的关键技术之一。提出一种基于双向长短时记忆网络加条件随机场(bidirectional long-short-term memory with conditional random field model, BiLSTM_CRF)模型的藏文分词方法。对手工分词的语料经过词向量训练后输入到双向长短时记忆网络(bidirectional long-short-term memory, BiLSTM)中,将前向长短时记忆网络(long-short-term memory, LSTM)和后向LSTM学习到的过去输入特征和未来输入特征相加,传入到线性层和softmax层进行非线性操作得到粗预测信息,再利用条件随机场(conditional random field, CRF)模型进行约束性修正,得到一个利用词向量和CRF模型优化的藏文分词模型。实验结果表明,基于BiLSTM_CRF模型的藏文分词方法可取得较好的分词效果,分词准确率可达94.33%,召回率为93.89%,F值为94.11%。     

基于最大概率分词算法的中文分词方法研究

本文提出了一种基于最大概率分词算法的中文分词方法，以实例贯穿全文系统描述了最大概率分词算法的基本思想与实现，根据针对大规模真实语料库的对比测试，分词运行效率有较大提高，该方法是行之有效的，并且提出了该算法的改进方向。     

藏文文本情感分类系统设计

本论述采用藏语三级切分体系对藏文文本进行分词和词性标注,并借助手工建立的藏文情感分析用词表,与已有的特征选择方法相结合提取情感特征,用相似度分类算法进行藏文文本的情感分类,达到了较好的分类效果.     

基于知识库的藏文问答系统研究

随着数据信息的海量增长,人们迫切需要在海量的数据中精准获取有用信息,为了解决这个问题,问答系统应运而生.现今,英文问答系统及中文问答系统取得了显著成绩,但藏文问答系统却鲜有人问津.作为一个多民族的国家,伴随信息化的高速前行,藏文问答系统的研究势在必行.文章通过对现有藏文分词、信息检索等技术分析,借用中英文问答系统成熟的模式,结合藏语语法的特殊性质,对基于FAQ库的藏文问答系统的构建进行分析研究.     

几个常用化学介字的藏文翻译浅谈

本文提出了一个化合物名称翻译的新方案,该方案的原则是挖、创、借相结合,以借为主,借音又以国际通用名称为基础。     

藏文文本词校对模型研究

文章描述藏文文本校对在国内外的发展现状，并借鉴国内外自动校对技术及算法研究的最新成果，提出基于词的藏文文本校对模型的研究方案。针对藏文文本的复杂特征和容易出现的错误状况，提出了统计与规则相结合的校对方案。     

自动校对中现代藏文音节字研究

现代藏文自动校对中,对音节字（ ）的校对是其基础。在藏文文本中音节字是用音节点进行间隔的,由于藏文二维的书写特征和音节字形成过程中与其构件之间严格的搭配规则等诸多问题,使得对它的校对又区别于任何一种文字。文章介绍了音节字的构件、结构和搭配规则等问题,列举了藏文音节字中的错误类型,并针对其特殊性给出了一个特有的音节字校对的流程和方法。     

中文搜索引擎中的分词技术研究

分词模块是中文搜索引擎的一个重要组成部分,针对分词提出了一种最短路径与共首字歧义词概率的比较相结合的方法,首先寻找最短路径.如果最短路径不只一条,就比较共首字歧义词概率,选择概率较大的一条路径,效果非常明显.对未登录词识别提出了一种改进的移动窗口算法,在单字序列中移动窗口,并记录状态来寻找新词,能够识别大部分的未登录词.     

Internet网上藏文信息交换技术研究

依据藏文编码的国家标准和国际标准 ,详细讨论了在Internet网上建立藏文信息交换的技术、藏文信息处理系统及实施中要解决的关键技术 讨论了目前藏文信息处理的现状和Internet网上技术的发展及其关键技术 ,提出了实现Internet网上藏文信息交换的实施办法所要解决的关键技术及实现的方法     

藏文典籍中的一些炼丹史料

在一些藏文典籍中,具有丰富的炼丹术史料,很有研究价值.这里介绍数例,以供自然科学史研究者参考.