统计与规则相结合的藏文人名自动识别研究

提出了一种基于统计与规则相结合的藏文人名自动识别方法.该方法充分挖掘了人名与上下文信息的关联程度,引入互信息对关联程度进行了定量的描述.根据大规模语料(30.2 M文本语料)的统计数据所建立的规则极大地提高了识别算法的准确率;在处理汉族音译人名情况时,采用姓氏驱动的方法,很好地解决了藏文文本中汉族人名的识别问题.实验结果表明,该方法具有较高的准确率和召回率.     

基于LZ77算法的藏文文本压缩算法设计与实现

随着信息量的不断增加,用计算机处理的文本文件越来越大,需要对庞大的藏文文本进行数字化处理,如何节约资源对藏文文本进行高效压缩显得极为重要。项目在LZ77算法基础上结合藏文的特点和当前文本压缩的技术主流完成了关于藏文文本压缩的设计和实现工作,按照藏文特点有效的提高了藏文文本压缩率。这种压缩算法是针对藏文特点的两个子算法和目前主流的LZ77压缩算法合成的。     

基于日志分析的用户搜索行为研究

用户行为分析是改进搜索引擎的重要依据,为了更好地理解中文搜索用户的检索行为,在引入分词的基础上对搜狗搜索引擎在一个月内的真实查询日志进行了分析,对查询语言、查询长度、rank和网页深度与点击次数四个方面的用户行为进行分析。所得结论对改进中文搜索引擎的设计和更准确地评测检索效果都有较好的指导意义。     

字母词的全/半角形式对中文分词 的影响及对策初探

中文科技名词自动抽取的关键步骤是分词,文章首先讨论中文语料库中字母词的全/半角现象,然 后考察这种现象对自动分词结果当中字母词的一致性和准确性所产生的影响,并给出提高切分结果的一致 性和准确性的对策,最后阐述中国传媒大学的分词系统在这方面所做的工作。     

汉语盲文中“的”字分词连写的问题与对策

“的”字在现代汉语中使用广泛,构词能力强。“的”字结构表面简单,实则复杂。在盲文分词连写规则中,“的”字的处理经历了从繁复到简略的过程。黄乃先生根据语法功能对“的”字的分词连写进行了区分,但是规则复杂且不易操作;现行盲文以分为主,由于处理的方式过于简单而忽略了“的”字结构内在的句法、语义关系。“的”字的分词连写存在理论复杂性与实际应用简单化之间的矛盾。将是否出现中心语作为“的”字结构分词连写的显性标记,既能反映“的”字结构的基本语法关系,又具有操作的简便性,为盲文分词连写相关规则的修订提供一定的借鉴与参考。     

语料库自然标注信息与中文分词应用研究

以中文分词为应用目标, 将大规模语料库上存在的自然标注信息分为显性标注信息与隐性标注信息, 分别考察了它们的分布和对大数据集上语言计算的影响。结果表明, 两者都直接或间接地表达了作者对语言的分割意志, 因而对分词具有积极的影响。通过词语抽取测试, 发现在缺乏丰富显性标注信息的文本中, 来自语言固有规律的自然标注信息对字符串有着强大的分割性能。     

基于Sphinx＋MySql＋Python的站内搜索引擎的设计与实现

目前站内搜索引擎已经逐渐成为web应用领域的热点.本文根据Sphinx、Mysql系统结构和运行特点,以Python语言为例,提出一种通用的web站内搜索引擎的构建方法.对于基于Linux＋Apache＋Mysql（或PostgreSQL）构架、Django等开源技术构架的web网站,该方法在不改变现有网站构架的基础上可以很便捷的构建一种性能优越的站内搜索引擎.     

敦煌古藏文吐蕃地名的分类及其结构特点探析

地名是语言词汇的一个组成部分,其中包含着极其丰富的语言及地理信息.从语言及地理角度分析古藏文吐蕃地名具有重要意义.吐蕃地名的类型有它独特的一面,同时还有其地名本身的结构属性及命名特点.在命名特点上,吐蕃地名不但表现客体的属性或特征,而且也包含着主观感情色彩等内容,使地名具有自然和社会两种属性.吐蕃地名不仅与特定的自然地理环境有关,而且与历史上藏民族及周边民族的活动和影响颇具关联,是一种人地关系的反映.     

基于VC＋＋／MFC的中文自动分词算法及其软件的实现

中文自动分词一直是中文信息处理、Web文档挖掘等处理文档类研究的基础技术之一,传统的中文分词技术研究,主要集中在算法的改进研究上,对实验的平台,有关软件的实现涉及很少.本文通过探讨中文自动分词的重要性和不可或缺性,给出了基于VC /MFC自动分词软件的开发技术,最后对软件实现的四种基于词典的机械匹配的算法进行了实验分析,实验证明该系统能够高效的给中文信息处理提供一个平台.     

OpenOffice藏文本地化及其实现过程

随着信息技术的飞速发展,办公套件是人们日常应用最为广泛的信息处理软件之一,作为藏文信息处理的重要组成部分,开发符合藏文应用习惯的办公套件产品对于传承民族文化具有重要意义。开源项目OpenOffice.org的不断发展和日益成熟,为藏文办公套件的研制与开发提供了有利的条件。文章以讲述0penomce.org为源代码基础,采用藏文编码字符集国家标准,并支持藏文书写和编排习惯的藏文办公套件研发的思路,研究和分析了OpenOffice.org的本地化框架实现的关键技术。