藏语句子边界识别方法

藏语句子边界识别是一项重要的基础性工作,它的准确率直接影响藏语句法分析、汉藏（或藏汉）平行语料库和藏汉（或汉藏）机器翻译等的研究工作。文章通过分析藏文文法知识,提出了一种比较简单而实用的词性规则法,其主要思想是：单垂符或双垂符的前后词性来判断句子是否结束。经测试,文章提出的藏语句子边界识别方法在文学类、诗歌类、医学类和新闻类等536句藏语语料中句子边界的识别准确率达到96.37%。     

《汉语拼音正词法基本规则》修订管见

《汉语拼音正词法基本规则》公布实施 5周年以来 ,在实践中存在一些难以操作的问题 ,其分词连写法、熟语拼写法、人名地名拼写法等应从简化标准 ,克服模糊规则和便于应用的原则出发 ,进行修正。     

基于分词的关键词过滤技术研究

信息过滤是一个将用户感兴趣的文档从某个文档集中筛选出来的过程,传统的信息过滤技术包括黑白名单、基于规则的过滤、基于内容的过滤和关键词过滤等.笔者研究基于分词的关键词过滤技术,具有部分自然语言理解的功能,又具有快速识别不良信息的特点,从一定程度上满足了过滤系统的实际需要.     

藏文文本词校对模型研究

文章描述藏文文本校对在国内外的发展现状，并借鉴国内外自动校对技术及算法研究的最新成果，提出基于词的藏文文本校对模型的研究方案。针对藏文文本的复杂特征和容易出现的错误状况，提出了统计与规则相结合的校对方案。     

藏文字库设计中OpenType特征标记的应用研究

基于国际标准实现藏字处理一直是藏文信息处理的难点,OpenType字库的实现解决了该难点,微软Vista操作系统的推出,把藏文等几种少数民族文字的处理推到了一个新的阶段,但Vista自身只带了一个藏文白体字库,不能满足用户对字体的需求。文章分析了OpenType特征标记在藏文字库设计中的应用,有助于设计OpenType藏文字库。     

藏文信息处理技术发展的广阔前景

本文讨论了藏文信息处理方面,应该急待研究开发的四大系统：文字处理系统,语音处理系统,翻译系统和文本电子出版物的必要性,技术处理方法和关键问题。     

藏文信息处理中自动分词方法的研究

藏文分词是藏文信息处理领域的一项不可缺少的基础性工作,也是智能化藏文信息处理的关键所在。在藏文分词的研究过程中藏文分词的准确性,直接制约着藏文输入法研究、藏文电子词典建设、藏文词频统计、搜索引擎的设计和实现、机器翻译系统的开发、藏文语料库建设以及藏语语义分析研究等高层藏文信息处理技术的进一步发展。本文借鉴汉语的分词理论和方法,提出符合藏文特性的分词方法,以及歧义字段切分和未登录词识别等相关问题,并举例说明。     

实现Lucene接口的中文分词器的比较研究

Lucene自身提供的StandardAnalyzer虽然已经具备中文分词的功能,但是其分词正确率和切分速度不能够满足大多数应用的需要。为更好处理中文信息,必须引用独立的外部中文分词器。基于这种需求,文章对ChineseAnalyzer、CJKAnalyzer、IKAnalyzer、mmseg4j、imdict-chinese-analyzer和庖丁解牛6种主流中文分词器分别进行测试,并根据测试结果对分词效果做出评估。     

基于词条组合的中文文本分词方法

针对汉语自动分词后词条的特征信息缺失的问题,提出以词串为分词单位的中文文本分词方法,将整个分词过程分解为三个子过程:首先,采用逆向最大匹配法对文本进行切分;第二,对切分结果进行停用词消除;第三,计算第一次分词得到的词条互信息和相邻共现频次,根据计算结果判定相应的词条组合成词串。实验结果表明,词条组合后的词串的语义信息更丰富,有助于文本特征选择效果的改善和文本分类性能的提高。     

一种基于后缀数组的无词典分词方法

提出一种基于后缀数组的无词典分词算法. 该算法通过后缀数组和利用散列表获得汉字的结合模式, 通过置信度筛选词. 实验表明, 在无需词典和语料库的前提下, 该算法能够快速准确地抽取文档中的中、 高频词. 适用于对词条频度敏感、 对计算速度要求高的中文信息处理.