共查询到20条相似文献,搜索用时 15 毫秒
1.
2.
李萍 《中国新技术新产品精选》2010,(24):232-232
中文是一种没有明显的形态界限可以作为分词依据的表意语言,因而在中文文本的处理中面临的第一个问题就是词语的切分问题。本文说明了汉语自动分词的必要性和困难,介绍了自动分词的三种算法。 相似文献
3.
4.
李群 《渤海大学学报(自然科学版)》2006,27(3):277-280
讨论和分析了自动分词的现状,并针对分词问题,提出了一种基于规则的中文文本分词自动校对方法。该方法通过对机器分词语料和人工校对语料的对比,自动获取中文文本的分词校对规则,并应用规则对机器分词结果进行自动校对,提高分词语料的质量。 相似文献
5.
中文分词是中文信息处理的基础、前提和关键.通过分析已有的中文分词算法,提出了一种新的分词词典机制,并根据新的分词词典机制提出了一种快速双向中文分词算法.使用该算法可以实现快速查找和双向匹配,从而极大地提高中文分词的速度和准确率. 相似文献
6.
中文分词技术是一项在搜索引擎中广泛应用的关键技术,也是中文信息处理中的一项关键技术。文章通过对中文分词系统中预处理模块的改进提高了分词的速度,改进了分词系统。 相似文献
7.
中文分词词典是中文信息处理技术的重要基础,中文分词词典设计的优劣直接关系着分词的速度与效率。本文在研究了各种中文分词算法和中文分词词典机制的基础上,提出了一种基于专业词典的带词长的中文分词词典算法,主要用于对专业文档中进行加工处理,并且基于该算法设计了一个基于专业词典的带词长的中文分词词典的专业文档切分系统。 相似文献
8.
采用数论的思想结合计算机的算法设计技术,提出了一种新的基于统计学的计算机中文自动分词数学模型CNET及其算法. 相似文献
9.
中文分词技术是中文信息处理的关键,开发设计中文分词系统需要选择合适的平台构造分词词典,处理分词方法。本文是利用VC++6.0作为开发工具,介绍系统设计之初词典的构造与加载的方法。 相似文献
10.
要想在上百亿的网页中找到有意义结果,最重要的是把最相关的结果显示出来,而且要排在最前面,这也称为相关度排序.中文分词的准确与否,常常直接影响到对搜索结果的相关度排序.对PHP编写模拟分词函数进行了研究和分析.给出了PHP MYSQL环境下实现传统分词的实现过程.并在此基础上引入了字典的概念,因其在分词之前已提前调入内存,从而大大提高了分词的效率和准确性.在PHP MYSQL环境下为中文的分词过程实现提供了良好的平台基础,丰富的PHP函数为实现精确的分词提供了语言和语法的支持,MYSQL轻型数据库为字典提供快速的存取. 相似文献
11.
中文分词技术研究 总被引:1,自引:0,他引:1
于洪波 《东莞理工学院学报》2010,17(5):40-44
随着网络信息资源呈指数级增长,我们已经进入了信息化时代,信息技术已渗透到我们社会生活的方方面面。中文文本分词技术作为中文信息处理中的重要环节,其作用就显得越来越重要。对中文分词的必要性、存在的困难进行了综述,并分析了几种分词方法的原理、特点和算法实现。 相似文献
12.
汉语分词技术研究现状与应用展望 总被引:8,自引:0,他引:8
汉语自动分词是计算机中文信息处理系统的基础和难题,本文对近年来的汉语自动分词的研究方法与成果进行了分析综述。探讨了分词中存在的一些关键问题,同时介绍了分词技术在科研以及商用系统中的应用。并展望了未来分词技术在应用方向的发展. 相似文献
13.
基于最大概率分词算法的中文分词方法研究 总被引:1,自引:0,他引:1
本文提出了一种基于最大概率分词算法的中文分词方法,以实例贯穿全文系统描述了最大概率分词算法的基本思想与实现,根据针对大规模真实语料库的对比测试,分词运行效率有较大提高,该方法是行之有效的,并且提出了该算法的改进方向。 相似文献
14.
中文自动分词技术在中文信息处理、Web文档挖掘等处理文档类研究中是一项关键技术,而分词算法是其中的核心.正向最大匹配算法FMM( Forward Maximum Match)具有切分速度快、简洁、容易实现等优点,但是还存在分词过程中设定的最大词长初始值固定不变的问题,带来匹配次数相对较多的弊端.针对此问题提出了根据中文... 相似文献
15.
《西北大学学报(自然科学版)》2015,(4):568-572
针对当前云搜索系统中中文分词仅仅采用简单的正向匹配最大算法和逆向最大匹配算法容易产生歧义的问题,提出了采用平均最大分词算法分词,并用最小分词偏离标准差消除歧义的方法进行云搜索系统的中文分词。经过测试,该算法明显优于正向最大匹配算法和逆向最大匹配算法。 相似文献
16.
为在保证中文歧义包容和长度限制的同时提高中文全文检索的速率, 在现有中文分词算法的基础上, 提出了一种改进的中文分词算法。通过在算法中建立索引的过程建立文本中相关词与词库的映射, 对词库进行改造, 使之更好地与相关词进行映射, 以便于实现中文分词。实验证明, 改进的中文分词算法能降低检索耗时, 是已有的分词算法的1/2和1/5, 有效提高中文全文检索的速率。 相似文献
17.
通过搭建Hadoop平台,将MapReduce编程思想应用到中文分词的处理过程中,使中文分词技术在云计算环境中实现。研究可以在保证原来分词准确率的基础上,显著提高中文分词的处理速度。 相似文献
18.
周拴龙 《郑州大学学报(理学版)》2011,(3)
Lucene.net实现中文分词依靠的是Analyzer类,但通过分析其内置的Keyword Analyzer,Standard Analyzer,Sto-pAnalyzer,Simple Analyzer,Whitespace Analyzer5个分词类发现,它们几乎都是按单字的标准进行切分的,为更好处理中文信息,必须引用外部独立开发的中文分词包.在对Chinese Analyzer,CJK Analyzer和IK Analyzer这3种典型的中文分词包分别测试后,发现采用字典分词以及正反双向搜索方法的IK Analyzer分词器的分词效果更胜一筹. 相似文献
19.
由于Lucene自带的ChineseAnalyzer和CJKAnalyzer两种中文分析器不能够满足全文检索系统的应用,本文给出了一种新的中文分词算法,用于改进Lucene中文分析器。该算法基于字符串匹配原理,实现了正向和逆向相结合的最大增字匹配分词算法。通过实验仿真,比较改进后的分析器与Lucene自带的两种分析器在分词效果和效率上的差异。结果显示,改进后的分析器分词效果明显优于Lucene自带的两种分析器,提高了全文检索系统的中文处理能力,系统的查全率和查准率都达到用户的需求。 相似文献