改进的SNM中文语义重复记录检测算法

为解决中文数据的重复检测问题,在SNM(Sorted-Neighborhood Method)算法的基础上提出了一种融合《同义词词林扩展版》和中文分词于一体的重复记录检测算法,通过利用《同义词词林扩展版》和Jaccard算法计算词语相似度,同时采用Python中Jieba中文分词的方式对语句进行分词,从而达到优化余弦相...     

中文信息处理在动态几何软件领域的应用研究

阐述了中文信息处理技术在几何作图等动态几何领域内的应用现状。鉴于几何语言其本身相较于一般自然语言的特点,介绍了利用中文分词技术及其他自然语言处理技术来实现基于自然语言输入的动态几何作图的方法,主要包括GMMM算法和基于"分词词典"的分词方法及建立同义词库、使用语模匹配和语模词典等方法来形式化和规则化几何命题等内容,并提出在该领域的研究展望。     

基于既定词表的彝文自动分词技术研究

自动分词是彝文信息处理中一项不可缺少的基础性工作,彝文信息处理只要涉及到检索、翻译、校对等,就需要以词为基本单位。本文根据彝文的特点,介绍了彝文分词规范与分词词表的设计,提出了实现基于既定词表的彝文自动分词技术的算法选择、系统结构,以及实现流程,而且进行了抽样测试,其分词准确率和速度都比较令人满意。最后结合彝文的特点对实现彝文自动分词的难点进行了分析。     

快速双向中文分词算法

中文分词是中文信息处理的基础、前提和关键．通过分析已有的中文分词算法,提出了一种新的分词词典机制,并根据新的分词词典机制提出了一种快速双向中文分词算法．使用该算法可以实现快速查找和双向匹配,从而极大地提高中文分词的速度和准确率．     

基于双字词的动态最大匹配分词算法的研究

通过研究和分析现有最大匹配分词算法,词库结构的设计和分词算法直接关系着分词的速度和效率,提出了一种改进的最大匹配分词算法--基于双字词的动态最大匹配分词算法,设计并实现了汉语分词词库和算法.实验结果表明,此算法相对于现有最大匹配分词算法有显著提高.     

PHP+MYSQL环境下的中文分词技术研究

要想在上百亿的网页中找到有意义结果,最重要的是把最相关的结果显示出来,而且要排在最前面,这也称为相关度排序.中文分词的准确与否,常常直接影响到对搜索结果的相关度排序.对PHP编写模拟分词函数进行了研究和分析.给出了PHP MYSQL环境下实现传统分词的实现过程.并在此基础上引入了字典的概念,因其在分词之前已提前调入内存,从而大大提高了分词的效率和准确性.在PHP MYSQL环境下为中文的分词过程实现提供了良好的平台基础,丰富的PHP函数为实现精确的分词提供了语言和语法的支持,MYSQL轻型数据库为字典提供快速的存取.     

一种应用分治策略的中文分词方法

自动分词是中文信息处理的关键步骤。由于具有结构简单、易于实现和开发周期短等优点,基于词典的分词方法被广泛应用。结合中文多字词数量少,使用频度低的特点,设计实现了一种新的词典机制,在此基础上,把分治策略引入到分词中,提出了一种新的分词算法,幷对该算法进行了理论分析和实验验证。     

基于Perl的汉语自动分词算法研究

汉语的自动分词是汉语语言处理的基础,本文讨论了汉语自动分词歧义问题的产生与分类,重点研究了交集型歧义字段的排歧策略,实现了一种基于Perl的汉语自动分词方法,在比较同种算法的VC 实现上,结果显示基于Perl的实现具有简洁和高效的优点。     

彝文自动分词系统的设计与实现

本文根据彝文自身的特点,从分词词表、分词算法、设计原则、结构流程、系统界面和功能、实验结果等6个方面详细分析了彝文自动分词系统的实现过程及自动分词过程实例;最后给出了实验结果,结果表明系统具有较高的切分精度和较好的通用性,对彝文自动分词技术的研究做了一次尝试性探索。     

智能人机交互中自动分词技术的实现

根据实际工作,开发了一个自动分词系统,对汉语自动分词技术在智能人机交互中的实现进行探讨.基于系统的情况,分词算法采用了最大匹配法,在词库检索中提出了化查询为直接存取的方法,提高了检索效率,节省了内存,有利于分词速度的提高.     

基于规则的几何语言自动分词算法

对汉语分词的基本概念与应用,以及汉语分词的基本方法进行了概述.基于几何中的自然语言,结合正向减词最大匹配法,提出了适合几何语言的GMMM分词算法,并给出了算法的实现过程.     

基于云计算的中文分词研究

通过搭建Hadoop平台,将MapReduce编程思想应用到中文分词的处理过程中,使中文分词技术在云计算环境中实现。研究可以在保证原来分词准确率的基础上,显著提高中文分词的处理速度。     

基于最大概率分词算法的中文分词方法研究

本文提出了一种基于最大概率分词算法的中文分词方法，以实例贯穿全文系统描述了最大概率分词算法的基本思想与实现，根据针对大规模真实语料库的对比测试，分词运行效率有较大提高，该方法是行之有效的，并且提出了该算法的改进方向。     

基于优化最大匹配与统计结合的汉语分词方法

汉语自动分词足中文信息处理的前提,如何提高分词效率是中文信息处理技术面临的一个主要问题.基于训典和基于统计的分词方法是现有分词技术的主要方法,但是前者无法处理歧义字段,后者需要大量的词频汁算耗费时间.本文提出优化最大匹配与统汁结合的分词方法,首先提出优化最大匹配算法,在此基础上提出了规则判断与信息量统计两种消歧策略.然后,给出了优化最大匹配与统计结合的分词算法,提高了分词的效率.最后,基十分词算法实现中义分词系统,并通过实验对算法进行了分析和验证.     

基于Nutch的搜索引擎技术

Nutch是一个优秀的基于Java的开放源码搜索引擎,是以Lucene为基础实现的搜索引擎应用程序,其工作流程和现代商业搜索引擎工作原理一样:文本搜集、建立索引和查询.为了使它能够支持中文搜索,在分析了Nutch结构的基础上,采用词表分词技术和前向匹配分词算法对中文信息进行分词,以JavaCC脚本实现上下文相关文法中文分析模块,成功实现了Nutch中文搜索功能.     

Nutch0.9中二分法中文分词的实现

Nutch是一个优秀的基于Java的开放源码搜索引擎,是以Lucene为基础实现的搜索引擎应用程序,其工作流程和现代商业搜索引擎工作原理一样：文本搜集、建立索引和查询。Nutch0.9较好地处理了英文分词,但对中文分词处理还不够完善。文章介绍了在Nutch0.9中实现索引及检索的二分法,提出在中文分词上的改进。     

基于VC＋＋／MFC的中文自动分词算法及其软件的实现

中文自动分词一直是中文信息处理、Web文档挖掘等处理文档类研究的基础技术之一,传统的中文分词技术研究,主要集中在算法的改进研究上,对实验的平台,有关软件的实现涉及很少.本文通过探讨中文自动分词的重要性和不可或缺性,给出了基于VC /MFC自动分词软件的开发技术,最后对软件实现的四种基于词典的机械匹配的算法进行了实验分析,实验证明该系统能够高效的给中文信息处理提供一个平台.     

Nutch-0.9中JE中文分词的实现

Nutch是一个开放源代码的Web搜索引擎,基于开源搜索框架Lucene,扩展性较好。Nutch是针对英文开发的,对中文只进行单字切分。通过分析Nutch的语言分析器结构,结合基于词库的正向最大匹配分词算法的JE分词,实现了Nutch的中文分词。     

基于虚词切分的藏文分词系统的设计与实现

藏文分词是藏文自然语言处理的基础。根据藏文虚词在藏文文本中的特殊作用以及虚词的兼类性、结合性、黏着变体性和还原特性,设计实现了一个基于藏语虚词切分的正向最大匹配的藏文分词系统,该系统对原始文本进行逐次扫描处理得到分词结果。实验表明,文章提出的藏文分词系统具有较高的切分精度和切分速度。     

中文分词技术在交通管理系统中的应用研究

如何建立适于交通管理系统下信息检索子系统中的分词模块是提高检索性能的关键所在。本文在分析交通管理领域特点的基础上,提出了适合交通管理领域的分词方法,实现了适用于该领域内的分词系统。实验结果表明,系统测试的准确率和召回率分别达到95.9%和95.1%。