文本分词的自动校对

讨论和分析了自动分词的现状，并针对分词问题，提出了一种基于规则的中文文本分词自动校对方法。该方法通过对机器分词语料和人工校对语料的对比，自动获取中文文本的分词校对规则，并应用规则对机器分词结果进行自动校对，提高分词语料的质量。     

汉语音节全分词算法

本文在统一的分词模型──分词图的基础上，提出了一种汉语音节全分词法，它可以给出在分词词典约束下所有可能的分词结果，为高层的句法、语义分析提供了多个候选结果，避免了在某种具体准则下丢失分词结果的困难，因此适用面比较广．     

试论现代汉语词语的切分技术

中文是一种没有明显的形态界限可以作为分词依据的表意语言，因而在中文文本的处理中面临的第一个问题就是词语的切分问题。本文说明了汉语自动分词的必要性和困难，介绍了自动分词的三种算法。     

快速双向中文分词算法

中文分词是中文信息处理的基础、前提和关键．通过分析已有的中文分词算法,提出了一种新的分词词典机制,并根据新的分词词典机制提出了一种快速双向中文分词算法．使用该算法可以实现快速查找和双向匹配,从而极大地提高中文分词的速度和准确率．     

基于最大概率分词算法的中文分词方法研究

本文提出了一种基于最大概率分词算法的中文分词方法，以实例贯穿全文系统描述了最大概率分词算法的基本思想与实现，根据针对大规模真实语料库的对比测试，分词运行效率有较大提高，该方法是行之有效的，并且提出了该算法的改进方向。     

基于词形的最佳路径分词算法

在基于词形统计模型分词算法的基础上，通过以存词表结构的有效组织及改进词的匹配算法和切分算法，并以最佳路径法实现了一种快速的基于词形的分词算法，在保证了较高准确率的同时，大大提高了分词速度。     

应用“层次分析法”优化汉语盲文分词连写规则

应用现有的分词连写规则书写汉语普通话盲文，会因人因时而得到不同的分词结果。为减少这种分词的不确定性，提出了应用“层次分析法”优化分词规则的方案。首先论述了普通话盲文的“结构分层”理论，继而给出了优化分词连写规则的总体原则、思路和优势，在详细介绍层次分析法基础理论后给出了应用层次分析法分词的原则，并列举有代表性的11个实例进行分析。改进的分词策略，不仅简化了分词规则、在很大程度上减少了盲文分词的不确定性，简单易用。     

一种采用基于语境松弛算法的汉语分词排歧方法

词切分是像汉语这类非拉丁语言的一个特有问题，并且由于汉语组词中普遍存在着岐义性和语境依赖性，这一问题也是一个尚未得到彻底解决的难题。本文通过仔细分析汉语分词岐义的规律，将追求整体最优效果的松驰算法引入到汉语自动分词的排岐研究中。借助于语词之间搭配关系等上下文约束条件以及词频、字频等统计数据，构造了一种汉语分词排岐的新方法。实验结果表明，这种方法在切分精度和切分速度上都取得了较好的效果，为解决汉语自动分词难题提供了一种新途径。     

基于词性标注与分词消歧的中文分词方法

中文分词是中文信息处理的前提和基础.文章综合基于词典的分词方法和统计的分词方法的优点,旨在提出一种基于词性标注与分词消歧的中文分词方法,针对初次分词结果中的歧义集进行对比消歧.利用正向、逆向最大匹配方法以及隐马尔可夫模型进行分词,得到三种分词结果中的歧义集.基于词信息对歧义集进行初次消歧.通过隐马尔可夫模型标注词性,利用Viterbi算法对每种分词结果选取最优词性标注.并基于定义的最优切分评估函数对歧义集进行二次消歧,从而获得最终分词.通过实验对比,证明该方法具有良好的消歧效果.     

基于语境相似度的中文分词一致性检验研究

提出一种基于语境相似度的中文分词一致性检验方法。首先利用词法和句法层面的特征, 设计基于构词、词性和依存句法的分类规则, 再使用预训练词向量, 对不一致字串所在语境的语义信息进行编码, 通过语境间的语义相似度对不一致字串进行分类。在人工构建的36万字分词语料库中进行分词一致性检验, 结果表明该方法能够有效地提高中文分词一致性检验的准确率。进一步地, 使用3 种主流中文分词模型在修正一致性后的分词语料中重新训练和测试, 结果表明该方法可以有效地提高分词语料库的质量, 3种中文分词模型的F1值分别提高1.18%, 1.25%和1.04%。     

基于双字词的动态最大匹配分词算法的研究

通过研究和分析现有最大匹配分词算法,词库结构的设计和分词算法直接关系着分词的速度和效率,提出了一种改进的最大匹配分词算法--基于双字词的动态最大匹配分词算法,设计并实现了汉语分词词库和算法.实验结果表明,此算法相对于现有最大匹配分词算法有显著提高.     

非谓语动词用法区别的教学体会

非谓语动词用法区别的教学体会聂有昌非谓语动词，顾名思义就是不能单独作谓语的动词。它分为三类：分词、动名词和动词不定式。分词兼有动词、副词和形容词的特征，可以有自己的宾语和状语。分词和其宾语或状语一起构成分词短语，在句中可作定语、表语、宾语补足语和状语...     

一种应用分治策略的中文分词方法

自动分词是中文信息处理的关键步骤。由于具有结构简单、易于实现和开发周期短等优点,基于词典的分词方法被广泛应用。结合中文多字词数量少,使用频度低的特点,设计实现了一种新的词典机制,在此基础上,把分治策略引入到分词中,提出了一种新的分词算法,幷对该算法进行了理论分析和实验验证。     

基于标记的分词算法

目前，自动分词的算法很多，但都有不能满足实用的要求。文中介绍一种在最大匹配法基础上，根据大量的真实语料中出现的语言现象，把汉语中的词按其在分词意义下的特性进行分类，并用不同的标记标识，对每一类词确定一组规则进行处理，使分词算法更接近于实用的目的。     

基于领域词典的动态规划分词算法

由于中文分词的复杂性,不同专业领域具有不同的词典构造。该文通过隐马尔可夫模型(Hidden Markov model,HMM)中文分词模型对文本信息进行初步分词,并结合相关的搜狗领域词库构建出对应的领域词典,对新词出现进行监控,实时优化更新,从而提出了一种基于领域词典的动态规划分词算法。通过对特定领域的信息进行分词实验,验证了该文提出的分词算法可获得较高的分词准确率与召回率。实验结果表明,基于领域词典的动态规划分词算法与基于领域词典的分词算法相比,准确率和召回率都有提升。基于领域词典的动态规划分词算法与传统的smallseg分词、snailseg分词算法相比,分词召回率和准确率都有提升,分词召回率提升了大约1%,分词准确率提升了大约8%,进一步说明了该文提出的分词算法具有很好的领域适应性。     

汉语分词技术研究现状与应用展望

汉语自动分词是计算机中文信息处理系统的基础和难题，本文对近年来的汉语自动分词的研究方法与成果进行了分析综述。探讨了分词中存在的一些关键问题，同时介绍了分词技术在科研以及商用系统中的应用。并展望了未来分词技术在应用方向的发展．     

中文分词任务中标注集合的选择方法

统计分词模型需要使用合适的标注集合来将中文句子的分词问题转化成序列标注问题,因此,标注集合的选择是统计分词模型中需要解决的一个重要的问题。文章分别借助单因子方差分析、置信区间和p值三种方法来比较常用的几种标注集合对中文分词模型性能差异的显著程度。首先根据单因子方差分析方法得出标注集合对于中文分词模型性能的影响是显著的;其次,使用置信区间和p值来选择最优的标注集合。实验结果表明:在常用的标注集合中,标注集合BB2B3MSE可以明显地提升中文分词模型的性能。     

基于专业词典的带词长的中文分词技术的研究

中文分词词典是中文信息处理技术的重要基础,中文分词词典设计的优劣直接关系着分词的速度与效率。本文在研究了各种中文分词算法和中文分词词典机制的基础上,提出了一种基于专业词典的带词长的中文分词词典算法,主要用于对专业文档中进行加工处理,并且基于该算法设计了一个基于专业词典的带词长的中文分词词典的专业文档切分系统。     

基于国际标准编码系统的藏文分词词典机制研究

藏文分词词典是藏文自动分词系统的的重要组成部分.词典的数据结构与检索速度直接影响到自动分词系统的质量.文章对几种常见的汉语分词词典机制及其效率进行了分析,并根据藏文基本集编码字符串的结构特征,提出了一种逐音节二分的藏文分词词典机制.     

基于灰熵的汉语机器翻译消歧研究

为了更有效的克服歧义这一汉语机器翻译的瓶颈问题，提高汉语自动分词精度，采用改进蚁群算法和灰熵对汉语的自动分词问题进行了研究。在构造分词模型的基础上，以灰熵度量分词的准确性。应用实例证明了方法的有效性。该方法对于提高我国机器翻译水平，提高我国数字化水平具有重要意义。