计算机彝文自动分词技术的设计研究

实现彝语文自动分词是计算机彝文信息处理中一项不可缺少的基础性工作,计算机彝文信息处理只要涉及到信息检索、机器翻译、语法分析、语义分析等方面的应用,就都需要以词为基本的处理单位.论文以彝语言的特点作为出发点,首先提出了计算机彝文分词规则与分词词表的设计思路,其次提出了实现计算机彝文自动分词技术的算法基础、系统结构,以及实现流程,而且进行了抽样测试,其分词的速度和准确率都比较高.论文最后根据彝语言的特点对实现计算机彝文自动分词的难点进行了分析.     

基于虚词切分的藏文分词系统的设计与实现

藏文分词是藏文自然语言处理的基础。根据藏文虚词在藏文文本中的特殊作用以及虚词的兼类性、结合性、黏着变体性和还原特性,设计实现了一个基于藏语虚词切分的正向最大匹配的藏文分词系统,该系统对原始文本进行逐次扫描处理得到分词结果。实验表明,文章提出的藏文分词系统具有较高的切分精度和切分速度。     

藏语维吾尔语语言资源监测关键技术研究与示范应用——中央民族大学信息工程学院

<正>~~     

中国古诗统计建模与宏观分析

利用自然语言处理技术处理文学文本是计算语言学领域近年来的热门话题.该文结合点态互信息量与频率阈值,自动发现中国古诗词汇.基于构建的诗歌词典,利用启发式的正向最大匹配算法,对中国古诗作分词处理.采用主题模型对分词后的诗歌文本进行统计建模,并在此基础上进行了主题演变和诗人群体风格网络的探索性分析.基于全唐诗语料的实验结果表明:主题模型可以给出具有较好解释力的中国古诗统计模型,验证已有的文学史研究,并在传统的文本细读的研究范式之外,对中国诗学提供了全新视角的宏观刻画、描述与阐释.     

语料库自然标注信息与中文分词应用研究

以中文分词为应用目标, 将大规模语料库上存在的自然标注信息分为显性标注信息与隐性标注信息, 分别考察了它们的分布和对大数据集上语言计算的影响。结果表明, 两者都直接或间接地表达了作者对语言的分割意志, 因而对分词具有积极的影响。通过词语抽取测试, 发现在缺乏丰富显性标注信息的文本中, 来自语言固有规律的自然标注信息对字符串有着强大的分割性能。     

基于日志分析的用户搜索行为研究

用户行为分析是改进搜索引擎的重要依据,为了更好地理解中文搜索用户的检索行为,在引入分词的基础上对搜狗搜索引擎在一个月内的真实查询日志进行了分析,对查询语言、查询长度、rank和网页深度与点击次数四个方面的用户行为进行分析。所得结论对改进中文搜索引擎的设计和更准确地评测检索效果都有较好的指导意义。     

基于PSO和KNN的网页智能分类算法

随着Internet技术的不断发展,Web信息不断的变化和增长.为有效查找用户所需要的信息,需将传统的信息检索向Web信息检索方向发展.如果预先对网页文本进行分类,则面对用户的检索需求就可以在相应的类别中进行查找,这样大大提高了检索的效率.文章通过对网页进行预处理,中文分词,特征提取,再使用KNN分类算法对网页进行智能分类,并采用了PSO算法快速寻找K近邻.实验结果表明:该方法不仅减少了网页分类时间,准确率、召回率和F1标准也明显提高,有效地提高了网页智能分类的效率.     

汉语分词中一种逐词匹配算法的研究

提出了一种改进的运词匹配算法．该算法通过对非歧义字段切分,对人名地名进行判别,以及对伪歧义字段进行处理,使交集型歧义字段切分正确率有了大幅度提高．在5万汉字语料开放测试中,交集型歧义字鼹切分正确率可达98％以上．     

一种改进逐字二分中文分词词典设计

在研究了多种分词词典机制的基础上,提出一种改进的词典机制在传统的首字哈希表中增加拼音首字母和次字哈希标志项,在首字哈希表中查询次字的拼音首字母,根据双字以上词的数量决定是否按次字拼音首字母散列到次字首字母哈希表中,以此决定次字的查询方式在兼顾空间复杂度的同时,缩小次字查询范围能较大幅度地提升高频词的次字的整体查询效率第3字及其后的字串的匹配仍然采用目前成熟的词典机制通过实验测试,该机制在增加少量的存储空间情况下,时间效率可提升26%     

谈“Kara”一词的民族文化意蕴

Kara作为维吾尔语颜色词的基本词汇,在历史文化的发展中,带有其鲜明的文化色彩,折射出本民族的哲学思想、社会生活、审美心理和思维表达方式,本文试对Kara一词的文化附加义作一些探析。