中文新词识别研究概述

新词识别是中文信息处理的重要课题,但因新词产生的速度快,语法、语用灵活,词典难以及时收录等问题使新词识别成为了中文信息处理领域的难点和热点问题。新词识别研究的方法主要有规则方法、统计方法以及规则与统计相结合的方法。新词识别的规则主要有新词词性规则和新词构词模式规则。统计方法主要通过计算词的TF/IDF值、词内部概率、词的频次对比、词的临接类别等进行新词识别。最后该文总结了中文新词识别研究中存在的问题,指出未来研究的方向。     

面向文本知识管理的自适应中文分词算法

针对传统字典匹配分词法在识别新词和特殊词处理方面的不足,结合2元统计模型提出了面向文本知识管理的自适应中文分词算法——SACWSA。SACWSA在预处理阶段结合应用有限状态机理论、基于连词的分隔方法和分治策略对输入文本进行子句划分,从而有效降低了分词算法的复杂度;在分词阶段应用2元统计模型,结合局部概率和全局概率,完成子句的切分,从而有效地提升了新词的识别率并消除了歧义;在后处理阶段,通过建立词性搭配规则来进一步消除2元分词结果的歧义。SACWSA主要的特色在于利用"分而治之"的思想来处理长句和长词,用局部概率与全局概率相结合来识别生词和消歧。通过在不同领域语料库的实验表明,SACWSA能准确、高效地自动适应不同行业领域的文本知识管理要求。     

融合相似性判断的网络新词发现算法

新词的有效识别是文本预处理过程中一项非常重要的任务,关系到分词效果的好坏.针对传统新词发现方法未考虑单字新词的识别,且忽略了上下文句法结构与语义信息对新词识别结果的影响,提出一种统计量计算结合相似性判断的网络新词发现算法.首先,基于字的粒度,依次计算单字词频、最大增强互信息和加权左右邻接熵,从左向右逐字扩展多字词,获得...     

基于词向量的情感新词发现方法

词语级的情感倾向性分析一直是文本情感计算领域的热点研究方向,如何自动识别情感新词,并判断其情感倾向性已经成为当前亟待解决的问题。首先用基于统计量的方法识别微博语料中的新词,然后利用神经网络去训练语料中词语的词向量,从语料自身挖掘出词与词之间的相关性,最后提出了基于词向量的情感新词发现方法。实验表明该方法可以有效应用于情感新词发现。     

基于改进位置成词概率的新词识别

提出了一种基于改进位置成词概率的新词识别算法.该算法在位置成词概率的基础上,结合新词内部模式的特征提出了改进的位置成词概率,然后再综合互信息、邻接类别等统计量对新词进行识别.采用小说语料进行测试,实验结果表明该算法在一定程度上能有效提取新词.     

融合词频特性及邻接变化数的微博新词识别

大量的新词伴随着微博的快速发展而产生,这些新词具有传播速度快及与其他词组合方式灵活的特点,而且在进行分词处理时容易被切分为不同的字符串。提出了一种融合词频特性及邻接变化数的微博新词识别方法。该方法首先对大规模的微博语料进行分词,然后将在两停用词间的相邻字串两两组合,根据组合后的字串频率统计取得新词候选串,再通过组合成词规则进行筛选获得候选新词,最后通过词的邻接域变化特性去除垃圾串获得新词。利用该方法在COAE 2014评测任务上进行了新词的发现实验,准确率达到36.5%,取得了较好的成绩。     

基于二元背景模型的新词发现

该文提出一种基于二元背景模型的新词发现方法。采用前、背景语料二元似然比挑选候选二元组(bigram);然后根据频率、刚性、条件概率等基于前景语料的统计量,对二元组进行进一步筛选和扩展,以确定新词边界。用该方法提取出的词既包含新词特征,又可以成词。而且该方法充分利用现有背景生语料却无需分词等标注信息,不依赖词典、分词模型和规则,具有良好的扩展性。为了得到更好的发现效果,还讨论了各统计量阈值的选取策略和垃圾元素剔除策略。该方法在网络小说语料上验证了其有效性。     

一种基于关联模式的完全决策规则的提取方法

针对基于粗糙集理论提取完全的决策规则是NP难问题,提出一种获取统计意义下的完全的简化规则的算法.该算法结合关联规则挖掘方法和粗糙集方法的优点,从决策表中提取出具有一定支持度和可信度阈值的决策规则,具有实际的应用意义.通过实例验证了算法的有效性.     

基于自然语言网络教学答疑中无词典分词算法的研究

提出了一种面向网络答疑系统的无词典分词方法.该方法用统计的手段从大规模未进行任何切分的领域语料中获取算法所需的参数,并结合一定的规则进行分词.该算法具有自学习的能力,适应性强,只要改变训练所用的语料,就能切分出不同领域的词.实验结果表明,该分词方法有较高的召回率和精度.     

规则与统计相结合的副词“也”用法自动识别研究

副词"也"在现代汉语中的使用频率很高,用法也较为复杂,其用法的自动识别对语义理解及句法分析有着重要意义.在已构建的副词"也"用法词典、规则和用法标注语料的基础上,分别采用了规则和统计的方法对副词"也"的用法进行了自动识别,实验结果显示微平均准确率分别为55.20%、62.48%;进而对规则识别结果和统计识别结果进行分析,采用多种方式,依据用法在语料中分布率、规则方法及统计方法识别的准确率以及分布率和准确率的综合等多种方式,将规则和统计结合起来进行用法自动识别,多种结合方式中最高微平均准确率达到了69.95%.