基于标记的分词算法

目前，自动分词的算法很多，但都有不能满足实用的要求。文中介绍一种在最大匹配法基础上，根据大量的真实语料中出现的语言现象，把汉语中的词按其在分词意义下的特性进行分类，并用不同的标记标识，对每一类词确定一组规则进行处理，使分词算法更接近于实用的目的。     

文本分词的自动校对

讨论和分析了自动分词的现状，并针对分词问题，提出了一种基于规则的中文文本分词自动校对方法。该方法通过对机器分词语料和人工校对语料的对比，自动获取中文文本的分词校对规则，并应用规则对机器分词结果进行自动校对，提高分词语料的质量。     

汉语自动分词中中文地名识别

以词语级的中文地名为识别对象，根据地名内部用字的统计信息和地名构成特点产生潜在地名．在汉语自动分词中将可信度较高的潜在地名等同于句子的候选切分词，利用候选切分词本身的可信度和上下文接续关系评价句子的各种切分方案．在确定句子最佳切分时识别句子中的中文地名．对真实语料进行封闭和开放测试，封闭测试结果为召回率93．55％，精确率94．14％，F-1值93．85％；开放测试结果为召回率91．27％，精确率73．48％，F-1值81．42％．取得了比较令人满意的结果．     

基于WEB搜索引擎的中文问答系统

互连网上信息浩瀚无限，各种搜索引擎是人们获得信息常用的工具，但是它的可用性和易用性还有待进一步提高。为了更有效的获得用自然语言提问的问题的答案，本文提出了运用中文分词技术在获取的搜索网页的基础上进行全文检索和进行问题答案匹配，获得对应的答案列表的一种实现方法。     

基于问题模式匹配的智能答疑系统原型

智能答疑系统是将学生的问题和老师的解答有机地组织起来并存放至相应的答题库中，通过自然语言的语义理解技术来分析并自动的匹配学生所提出的问题，自动地给予问题解答的系统. 智能答疑系统能够给予提问者即时的回应，减轻教学人员的工作压力，在远程教学中具有重要意义.红棉智能答疑系统（原型系统）针对国内现有的智能答疑系统普遍存在的问题，借鉴了国外先进智能答疑系统的成功经验与设计理念，根据中文智能答疑的特殊需求，引入了基于概率的双向最大匹配分词算法、智能问题模式匹配、基于语义依存树的语义分析等技术进行智能问题分析，形成了具有更高答案召回率、合理性与正确性的新一代智能答疑系统.     

汉语自动分词的研究现状与困难

汉语自动分词是信息提取、信息检索、机器翻译、文本分类、自动文摘、语音识别、文本语音转换、自然语言理解等中文信息处理领域的基础研究课题。尽管已被研究了二十多年，分词仍然是中文信息处理的瓶颈问题。基于对汉语自动分词研究的现状分析，构建了自动分词的形式化模型，论述了影响分词的诸多因素，分析了分词中存在的两个最大困难及其解决方法。最后指出了目前分词研究中尤其是在分词评测方面存在的问题以及未来的研究工作。     

基于Lucene的校园网全文检索系统的研究

本文通过分析校园网网站信息的特点,采用Nutch网络爬虫和Lucene技术构建一个校园网全文检索系统,解决了中文分词等问题,提高了用户搜索的效率。     

基于最大概率分词算法的中文分词方法研究

本文提出了一种基于最大概率分词算法的中文分词方法，以实例贯穿全文系统描述了最大概率分词算法的基本思想与实现，根据针对大规模真实语料库的对比测试，分词运行效率有较大提高，该方法是行之有效的，并且提出了该算法的改进方向。     

从“主被动关系”分析英语中分词的语法功能

本文作者结合在日常英语工作中的体会,分析了现在分词和过去分词的语法功能,并有针对性地剖析主被动关系在四种功能中的应用。     

基于最大熵模型的词位标注汉语分词

近年来基于字的词位标注汉语分词方法极大地提高了分词的性能,该方法将汉语分词转化为字的词位标注问题,借助于优秀的序列标注模型,词位标注汉语分词逐渐成为汉语分词的主要技术路线.该方法中特征模板集设定和词位标注集的选择至关重要,采用不同的词位标注集,使用最大熵模型进一步研究了词位标注汉语分词技术.在国际汉语分词评测Bakeoff2005的语料上进行了封闭测试,并对比了不同词位标注集对分词性能的影响.实验表明所采用的六词位标注集配合相应的特征模板集TMPT-6较其他词位标注集分词性能要好.