汉语音节全分词算法

本文在统一的分词模型──分词图的基础上，提出了一种汉语音节全分词法，它可以给出在分词词典约束下所有可能的分词结果，为高层的句法、语义分析提供了多个候选结果，避免了在某种具体准则下丢失分词结果的困难，因此适用面比较广．     

汉语自动分词系统中切分歧义与未登录词的处理策略

本文主要综述了汉语自动分词系统中,切分歧义与未登录词的表现形式以及相应的处理策略,指出在没有完全突破现行机器翻译理论的前提下,增强机器翻译系统中切分歧义与未登录词的处理能力,是提高系统准确率的一种有效措施.     

中文文本挖掘中最长频繁序列的发现算法

本文对中文文本挖掘中的词汇处理技术进行了较深入的探讨,提出了针对汉语语言特点的发现所有最长频繁序列的算法.该算法基于"找最长字共现"的原则,可以准确地将文本中的词汇切分出来.     

基于分词和基于N-Gram的网页分类系统比较研究

设计并实现一个网页分类系统,采用相同的特征权值计算方法,特征选择算法以及分类算法,进行基于分词的网页分类系统和基于N-G ram的网页分类系统的对比实验,分析两者的分类效果。结果表明,基于N-G ram的网页分类系统能达到并在一定程度上高于基于分词的网页分类系统的效果。     

一种改进的基于PATRICIA树的汉语自动分词词典机制

分词词典机制是影响自动分词的重要因素,而查找速度是衡量一个词典好坏的重要标准.文中分析比较了现有的几种典型的词典机制,并在此基础上提出了一种新的词典机制,即在PATRICIA tree的基础上加入Hash机制,从而在明显提高查找速度的同时,降低了构造和维护词典的复杂度.     

试论悬垂分词的逻辑主语

悬垂分词是一种由省略而引起的复杂的语言现象。所省去的逻辑主语大致可分以下几种情况:(1)泛指;(2)由定语、宾语、从句主语等成分包含;(3)说话者(作者)本人;(4)由上下文说明。文章试图就此探讨悬垂分词的逻辑主语。     

一种采用基于语境松弛算法的汉语分词排歧方法

词切分是像汉语这类非拉丁语言的一个特有问题，并且由于汉语组词中普遍存在着岐义性和语境依赖性，这一问题也是一个尚未得到彻底解决的难题。本文通过仔细分析汉语分词岐义的规律，将追求整体最优效果的松驰算法引入到汉语自动分词的排岐研究中。借助于语词之间搭配关系等上下文约束条件以及词频、字频等统计数据，构造了一种汉语分词排岐的新方法。实验结果表明，这种方法在切分精度和切分速度上都取得了较好的效果，为解决汉语自动分词难题提供了一种新途径。     

基于混合模型的中文命名实体抽取系统

中文命名实体抽取的研究,存在分词、领域和方法三个方面的问题需要解决.解决方案是利用规则,对机器分词后的文本进行修正;提出"群山"模型,对不同领域制定不同的语言学规则;以统计学方法和语言学方法结合,对不同命名实体采用不同的方法等.根据实验结果,得出以下结论分词的错误将严重影响到最终的抽取结果;领域规则的应用可以提升抽取效果;不同方法的有机结合比采用单一方法有效.     

基于微信小程序的智能客服回复技术的研究与实现

以图书馆的常见问题为基础,研究全文检索、中文分词、向量空间模型等技术,构建符合相关问题的知识库,结合云数据库设计,在微信小程序平台运用JavaScript,WXML,WXSS,Python等开发语言和Flask框架,实现一个基于微信小程序的图书馆智能客服系统,其中的智能回复模块实现了全文检索和中文分词等技术,以鲜明的便...     

汉语分词技术研究现状与应用展望

汉语自动分词是计算机中文信息处理系统的基础和难题，本文对近年来的汉语自动分词的研究方法与成果进行了分析综述。探讨了分词中存在的一些关键问题，同时介绍了分词技术在科研以及商用系统中的应用。并展望了未来分词技术在应用方向的发展．