基于Lucene的中文分词方法设计与实现

本文设计实现了一个中文分词模块,其主要研究目的在于寻找更为有效的中文词汇处理方法,提高全文检索系统的中文处理能力.整个模块基于当前最流行的搜索引擎架构Lucene,实现了带有歧义消除功能的正向最大匹配算法.在系统评测方面,比较了该方法与现有方法的区别,对于如何构建一个高效的中文检索系统,提出了一种实现.     

对中文分词系统预处理模块算法的研究和改进

中文分词技术是一项在搜索引擎中广泛应用的关键技术,也是中文信息处理中的一项关键技术。文章通过对中文分词系统中预处理模块的改进提高了分词的速度,改进了分词系统。     

一种基于中文分词的主观题自动评分优化算法研究

论述了一种基于中文分词的主观题自动评分优化算法的设计与实现,详细介绍了中文分词技术及实现方法,对单词串匹配度从单词长度、单词词形、单词顺序及影响因子四个方面进行算法设计与分析,最后进行实验测试,测试结果表明采用此优化算法进行的自动评分准确率有显著提升.     

基于最大概率分词算法的中文分词方法研究

本文提出了一种基于最大概率分词算法的中文分词方法,以实例贯穿全文系统描述了最大概率分词算法的基本思想与实现,根据针对大规模真实语料库的对比测试,分词运行效率有较大提高,该方法是行之有效的,并且提出了该算法的改进方向。     

中文分词技术

在现代化的社会,为了更好的利用计算机来处理以自然语言为载体的信息,让计算机能读懂人类的语言,只有计算机读懂了人类的语言,人和计算机的交流才成为可能,对于中文来讲,词是语言的最小单位,所以,汉语的文本分词是解决该问题的第一步,本文重要介绍了中文分词的必要性,以及中文分词的方法和存在的问题。     

中文分词在邮件过滤系统中的应用

针对邮件文本分词效果较差的特点,提出采用一种改进的最大匹配法来进行中文分词的方法.该方法对于普通的邮件文本和一些具有特定格式的邮件文本都可以进行有效的分词;文中还利用φ2统计法生成新词,对词典起到了动态更新的作用,提高了分词的精度和准确度.两种方法在邮件过滤系统中结合应用,使分词的误分率低于0.025.     

基于最小费用最大流的中文分词算法模型

中文自动分词不仅是中文信息处理的基础性工作而且对后续句法分析、语义分析等中文信息处理流程有着很大的影响。本文基于最小费用最大流,提出一个具有拓展性的中文分词算法模型,实验证明了本算法能够准确地对输入文字串进行切分。     

中文分词技术研究

随着网络信息资源呈指数级增长,我们已经进入了信息化时代,信息技术已渗透到我们社会生活的方方面面。中文文本分词技术作为中文信息处理中的重要环节,其作用就显得越来越重要。对中文分词的必要性、存在的困难进行了综述,并分析了几种分词方法的原理、特点和算法实现。     

基于标记的分词算法

目前，自动分词的算法很多，但都有不能满足实用的要求。文中介绍一种在最大匹配法基础上，根据大量的真实语料中出现的语言现象，把汉语中的词按其在分词意义下的特性进行分类，并用不同的标记标识，对每一类词确定一组规则进行处理，使分词算法更接近于实用的目的。     

中文全文检索系统中基于分词技术的研究

为在保证中文歧义包容和长度限制的同时提高中文全文检索的速率, 在现有中文分词算法的基础上, 提出了一种改进的中文分词算法。通过在算法中建立索引的过程建立文本中相关词与词库的映射, 对词库进行改造, 使之更好地与相关词进行映射, 以便于实现中文分词。实验证明, 改进的中文分词算法能降低检索耗时, 是已有的分词算法的1/2和1/5, 有效提高中文全文检索的速率。     

数据清洗中中文地址分词技术研究

数据清洗中,中文地址类信息对于重复记录的检测起着非常重要的作用。中文地址按照行政归属可划分为五级,通过组建地址信息数据库对中文地址进行匹配,提出基于地址树的中文地址分词技术,构建了中文地址的分词算法流程并设计了算法。     

快速双向中文分词算法

中文分词是中文信息处理的基础、前提和关键．通过分析已有的中文分词算法,提出了一种新的分词词典机制,并根据新的分词词典机制提出了一种快速双向中文分词算法．使用该算法可以实现快速查找和双向匹配,从而极大地提高中文分词的速度和准确率．     

基于BP神经网络的中文分词算法研究

简要探讨了BP神经网络的学习过程与主要参数,分析了基于BP神经网络的中文分词算法,并在用joone-editor建立的神经网络模型中加以实验。     

浅谈中文分词技术

目前,中文信息处理涉及面广泛,中分分词作为中文信息处理中的基础环节,其重要性不言而喻。本文主要叙述了中文分词的重要性以及发展中的难点,重点分析了目前典型的分词算法及优缺点。     

基于改进的正向最大匹配中文分词算法研究

中文自动分词技术在中文信息处理、Web文档挖掘等处理文档类研究中是一项关键技术,而分词算法是其中的核心.正向最大匹配算法FMM( Forward Maximum Match)具有切分速度快、简洁、容易实现等优点,但是还存在分词过程中设定的最大词长初始值固定不变的问题,带来匹配次数相对较多的弊端.针对此问题提出了根据中文...     

基于双字词的动态最大匹配分词算法的研究

通过研究和分析现有最大匹配分词算法,词库结构的设计和分词算法直接关系着分词的速度和效率,提出了一种改进的最大匹配分词算法--基于双字词的动态最大匹配分词算法,设计并实现了汉语分词词库和算法.实验结果表明,此算法相对于现有最大匹配分词算法有显著提高.     

基于人工智能的主观题自动评分算法实现

针对网络考试系统中主观题自动评分面临的困难和问题,将人工智能中中文自然语言理解的研究成果(空间向量模型、分词算法等)应用于网络考试中对主观题答案(包括标准答案和考生答案)的"理解"过程中,并在此基础上提出了将基于矢量空间模型的文本矢量特征匹配算法应用于计算机对考生答卷进行自动评判的过程中.实验测试数据表明,所提出的算法具有一定应用前景.     

基于WEB搜索引擎的中文问答系统

互连网上信息浩瀚无限，各种搜索引擎是人们获得信息常用的工具，但是它的可用性和易用性还有待进一步提高。为了更有效的获得用自然语言提问的问题的答案，本文提出了运用中文分词技术在获取的搜索网页的基础上进行全文检索和进行问题答案匹配，获得对应的答案列表的一种实现方法。     

基于云计算的中文分词研究

通过搭建Hadoop平台,将MapReduce编程思想应用到中文分词的处理过程中,使中文分词技术在云计算环境中实现。研究可以在保证原来分词准确率的基础上,显著提高中文分词的处理速度。     

基于短语匹配的中文分词消歧方法

在短语结构文法的基础上,提出一种基于局部单一短语匹配和语义规则相结合的消歧方法.通过增加短语间的右嵌套规则和采用有限自动机的实现方式,解决了短语规则中存在冗余项的问题,提高了短语匹配效率和歧义消除类型的针对性.实验结果表明,该消歧方法的平均消歧率约为98%,优于一般未考虑词语间语法和语义消歧模型的处理效果.