汉语自动分词中中文地名识别

以词语级的中文地名为识别对象,根据地名内部用字的统计信息和地名构成特点产生潜在地名．在汉语自动分词中将可信度较高的潜在地名等同于句子的候选切分词,利用候选切分词本身的可信度和上下文接续关系评价句子的各种切分方案．在确定句子最佳切分时识别句子中的中文地名．对真实语料进行封闭和开放测试,封闭测试结果为召回率93．55％,精确率94．14％,F-1值93．85％;开放测试结果为召回率91．27％,精确率73．48％,F-1值81．42％．取得了比较令人满意的结果．     

《汉语拼音正词法基本规则》修订管见

《汉语拼音正词法基本规则》公布实施 5周年以来 ,在实践中存在一些难以操作的问题 ,其分词连写法、熟语拼写法、人名地名拼写法等应从简化标准 ,克服模糊规则和便于应用的原则出发 ,进行修正。     

基于分词的关键词过滤技术研究

信息过滤是一个将用户感兴趣的文档从某个文档集中筛选出来的过程,传统的信息过滤技术包括黑白名单、基于规则的过滤、基于内容的过滤和关键词过滤等.笔者研究基于分词的关键词过滤技术,具有部分自然语言理解的功能,又具有快速识别不良信息的特点,从一定程度上满足了过滤系统的实际需要.     

高性能FTP搜索引擎的设计

FTP(file transfer protcol)搜索引擎的重点在于中文分词技术和检索技术.使用了一种面向FTP搜索优化的最大前向匹配分词算法,并将用户查询作为反馈来更新分词算法中所使用的字典,结合倒排索引技术实现了一个高性能的FTP搜索引擎的原型系统.压力测试结果表明此FTP搜索引擎具有很高的性能.     

本体在特色库智能检索中的应用研究

阐述了本体的概念,介绍了本体在信息检索尤其是文献检索领域的应用情况,阐述了本体在特色库中应用的意义,整理出本体应用于特色库系统的建设步骤,重点对特色库检索流程进行了分析,对其中涉及的自动分词技术和中文同义词自动识别技术进行了说明,对文献关于用户检索词相关度的计算及文献间相关度的计算给出了具体的算法,并对其中不足之处给予说明,总结了本体在特色库系统的应用。     

应用“层次分析法”优化汉语盲文分词连写规则

应用现有的分词连写规则书写汉语普通话盲文,会因人因时而得到不同的分词结果.为减少这种分词的不确定性,提出了应用“层次分析法”优化分词规则的方案.首先论述了普通话盲文的“结构分层”理论,继而给出了优化分词连写规则的总体原则、思路和优势,在详细介绍层次分析法基础理论后给出了应用层次分析法分词的原则,并列举有代表性的11个实例进行分析.改进的分词策略,不仅简化了分词规则、在很大程度上减少了盲文分词的不确定性,简单易用.     

汉语音节全分词算法

本文在统一的分词模型──分词图的基础上，提出了一种汉语音节全分词法，它可以给出在分词词典约束下所有可能的分词结果，为高层的句法、语义分析提供了多个候选结果，避免了在某种具体准则下丢失分词结果的困难，因此适用面比较广．     

智能人机交互中自动分词技术的实现

根据实际工作,开发了一个自动分词系统,对汉语自动分词技术在智能人机交互中的实现进行探讨.基于系统的情况,分词算法采用了最大匹配法,在词库检索中提出了化查询为直接存取的方法,提高了检索效率,节省了内存,有利于分词速度的提高.     

汉语自动分词系统中切分歧义与未登录词的处理策略

本文主要综述了汉语自动分词系统中,切分歧义与未登录词的表现形式以及相应的处理策略,指出在没有完全突破现行机器翻译理论的前提下,增强机器翻译系统中切分歧义与未登录词的处理能力,是提高系统准确率的一种有效措施.     

中文文本挖掘中最长频繁序列的发现算法

本文对中文文本挖掘中的词汇处理技术进行了较深入的探讨,提出了针对汉语语言特点的发现所有最长频繁序列的算法.该算法基于"找最长字共现"的原则,可以准确地将文本中的词汇切分出来.