消解中文三字长交集型分词歧义的算法

汉语自动分词在中文信息处理现实应用中占据着十分重要的位置。三字长交集型分词歧义是分词歧义的主要类型之一,在真实文本中的出现频率相当高。提出了一种针对这种分词歧义的消解算法,回避了训练代价比较高昂的词性信息而仅仅利用了词的概率信息及某些具有特定性质的常用字集合。从一个６０万字的汉语语料库中抽取出全部不同的三字长交集型分词歧义共５３６７个作为测试样本。实验结果表明,该算法的消解正确率达到了９２．０７％,基本可以满足实用型中文信息处理系统的需要。     

几种基于词典的中文分词算法评价

基于词典的中文自动分词是中文信息处理的基础.按照使用计算机缓存的优化原则,分析了几种典型的分词词典机制,指出了其中的一些问题.改进了整词二分法,极大地提高了速度.结合哈希索引和PATRICIA tree搜索算法,提出了一个综合最优化的中文分词系统.     

汉语自动分词的研究现状与困难

汉语自动分词是信息提取、信息检索、机器翻译、文本分类、自动文摘、语音识别、文本语音转换、自然语言理解等中文信息处理领域的基础研究课题。尽管已被研究了二十多年，分词仍然是中文信息处理的瓶颈问题。基于对汉语自动分词研究的现状分析，构建了自动分词的形式化模型，论述了影响分词的诸多因素，分析了分词中存在的两个最大困难及其解决方法。最后指出了目前分词研究中尤其是在分词评测方面存在的问题以及未来的研究工作。     

一种改进的中文分词歧义消除算法研究

随着信息技术的飞快发展,今天的互联网上信息已成爆炸式增长,文本挖掘技术成为目前研究的热点.文章概述了中文分词的算法,通过介绍歧义存在的种类,分析了分词结果歧义性存在的必然性;在中文分词基础上,提出了一种采用"动词优先"的歧义消除算法,使分词结果最大程度地消除歧义,从而提高了分词的精度,为文本挖掘之后的环节打下了基础.     

基于双字词的动态最大匹配分词算法的研究

通过研究和分析现有最大匹配分词算法,词库结构的设计和分词算法直接关系着分词的速度和效率,提出了一种改进的最大匹配分词算法--基于双字词的动态最大匹配分词算法,设计并实现了汉语分词词库和算法.实验结果表明,此算法相对于现有最大匹配分词算法有显著提高.     

基于WEB搜索引擎的中文问答系统

互连网上信息浩瀚无限，各种搜索引擎是人们获得信息常用的工具，但是它的可用性和易用性还有待进一步提高。为了更有效的获得用自然语言提问的问题的答案，本文提出了运用中文分词技术在获取的搜索网页的基础上进行全文检索和进行问题答案匹配，获得对应的答案列表的一种实现方法。     

构建Web自动答疑系统的关键技术分析

应用统计学方法对汉语分词过程及词表法组织全搜索过程进行了详细分析，对Web服务整合的内容及实现方法进行了具体剖析。     

基于灰熵的汉语机器翻译消歧研究

为了更有效的克服歧义这一汉语机器翻译的瓶颈问题,提高汉语自动分词精度,采用改进蚁群算法和灰熵对汉语的自动分词问题进行了研究。在构造分词模型的基础上,以灰熵度量分词的准确性。应用实例证明了方法的有效性。该方法对于提高我国机器翻译水平,提高我国数字化水平具有重要意义。     

基于LCS的中文缩写字段匹配问题的研究

鉴于中文字段匹配在信息检索领域的重要性以及日益复杂的检索需求,本文首次提出并实现了基于最长公共子序列LCS的中文缩写字段匹配模型,避免了繁琐的分词操作,将字段匹配过程简单化。在CWT100G数据集部分网页上的实验表明,该方法性能比较稳定,检索效果比较好,尤其在较长缩写字段的匹配方面效果更优于传统的基于字符串匹配的分词模型。     

基于最长次长匹配的汉语自动分词

汉语自动分词是中文信息处理领域所特有的一个重要研究课题,机器翻译（ＭＴ）,自然语言理解（ＮＬＵ）,情报检索（ＩＲ）等都需以自动分词作为基础。为解决分词中的歧义问题,针对歧义切分字段的分布特点,提出一种基于最长匹配原则的汉语自动分词方法,分词效果较好。