几种基于词典的中文分词算法评价

基于词典的中文自动分词是中文信息处理的基础.按照使用计算机缓存的优化原则,分析了几种典型的分词词典机制,指出了其中的一些问题.改进了整词二分法,极大地提高了速度.结合哈希索引和PATRICIA tree搜索算法,提出了一个综合最优化的中文分词系统.     

汉语自动分词方法的综述

在中文信息处理中，汉语的自动分词是一个难点。本文对汉语自动分词的方法及已有的词典机制进行了探讨。     

一种高效的个性化中文分词词典

Web个性化服务的核心技术之一是准确描述用户兴趣的用户模型，通过用户行为来挖掘用户兴趣是这一领域研究的重要手段．该文为了对Web个性化服务中用户浏览文档进行分析研究，采用了一种新型的个性化分词词典，通过实验证明是切实可行的，并且极大提高了系统的效率．     

一种基于后缀数组的无词典分词方法

提出一种基于后缀数组的无词典分词算法. 该算法通过后缀数组和利用散列表获得汉字的结合模式, 通过置信度筛选词. 实验表明, 在无需词典和语料库的前提下, 该算法能够快速准确地抽取文档中的中、 高频词. 适用于对词条频度敏感、 对计算速度要求高的中文信息处理.     

基于优化最大匹配与统计结合的汉语分词方法

汉语自动分词足中文信息处理的前提,如何提高分词效率是中文信息处理技术面临的一个主要问题.基于训典和基于统计的分词方法是现有分词技术的主要方法,但是前者无法处理歧义字段,后者需要大量的词频汁算耗费时间.本文提出优化最大匹配与统汁结合的分词方法,首先提出优化最大匹配算法,在此基础上提出了规则判断与信息量统计两种消歧策略.然后,给出了优化最大匹配与统计结合的分词算法,提高了分词的效率.最后,基十分词算法实现中义分词系统,并通过实验对算法进行了分析和验证.     

基于自然语言网络教学答疑中无词典分词算法的研究

提出了一种面向网络答疑系统的无词典分词方法.该方法用统计的手段从大规模未进行任何切分的领域语料中获取算法所需的参数,并结合一定的规则进行分词.该算法具有自学习的能力,适应性强,只要改变训练所用的语料,就能切分出不同领域的词.实验结果表明,该分词方法有较高的召回率和精度.     

中文文本挖掘中的无词典分词的算法及其应用

对中文文本挖掘中的词汇处理技术进行了较深入的探讨 ,提出了针对汉语语言特点的无词典分词算法。该算法基于“找最长字共现”的原则 ,可以准确地将文本中的词汇切分出来。     

基于二字词位图表的汉语自动分词词典机制

根据汉语中二字词较多的特点,提出了一种新的分词词典机制.该机制在词典数据结构中添加二字词检测位图表,在分词时,利用位图表可快速判断二字词优化分词速度.选取人民日报语料片断进行了实验测试.实验结果表明,基于二字词检测位图表的分词词典机制有效地提高了汉语自动分词的速度和效率.     

一种改进的高效分词词典机制

汉语自动分词是中文信息处理的基础,在中文信息处理系统中具有广泛的应用。作者在研究几种分词词典机制的基础上提出了一种新的分词词典机制,其基本思想是:根据一字词和二字词出现频率高的特点,将词首字和次字组合成Hash索引表,其余字组成剩余结点数组。基于这种分词词典机制设计的组合Hash索引分词算法使得一字词和二字词查询只须在组合hash索引表中一步完成,从而显著提高查询速度。通过真实语料的对比实验,该算法在不降低精度的前提下,处理速度比整词二分平均提高了13.8倍,比TR IE索引树平均提高了2.7倍。结果表明:组合hash索引分词算法是实用有效的。     

一种改进的基于PATRICIA树的汉语自动分词词典机制

分词词典机制是影响自动分词的重要因素,而查找速度是衡量一个词典好坏的重要标准.文中分析比较了现有的几种典型的词典机制,并在此基础上提出了一种新的词典机制,即在PATRICIA tree的基础上加入Hash机制,从而在明显提高查找速度的同时,降低了构造和维护词典的复杂度.     

构建单字词表识别未登录词的方法

针对目前中文分词技术主要依赖于常用词词典,而词典对未登录词识别率较低的问题,提出一种用双词典识别未登录词的方法,即构建一个常用词词典和一个单字词词典,二者相互结合进行分词,有效解决了对未登录词识别效率偏低的问题.实验表明,采用构建单字词表法对未登录词的识别准确率可达90%以上.     

基于词语相关度的文档主题抽取算法

考虑到文档中出现频率较高的词语能够体现文档的主题,设计了一种中文文档主题抽取算法．该算法首先对目标文档进行预处理,然后计算文档中每个词语的出现频率,用出现频率最高的几个词语作为文档的主题．其中,将词语间的相关度作为计算出现频率的参考因素．词语相关度的计算是基于中文知识库《知网》的方法．实验证明,本算法具有较高的准确性．     

新词词典释义中应注意的问题

论述了新词词典释义中应注意的几个问题：概括性、标注词性、分辨引申义和比喻义。强调在分辨比喻义时应注意三种请况，并对比喻义作了认知解释。     

基于互信息的宋史语料库词表的提取

基于统计语言模型,对《续资治通鉴长编》进行了统计分析.根据互信息特征抽取候选字串,通过人机交互确定其是否构成词,然后动态修正相关字串的互信息值,逐步建立宋史语料库词表.实验中据互信息阈值抽取候选字串6 500个,根据汉语大词典确定是词的有3 694个,占56.8%.结果表明互信息法是建立古汉语语料库词表的有效辅助手段.     

基于目标语统计的译文选择的研究

译文选择是词义消歧研究在机器翻译中的分支．本文介绍了基于目标语统计的译文选择的原理,并以英汉机器翻译中汉语译文的选择为例,详细讨论了基于目标语统计的方法的实现．通过对词典译文的处理得到统计数据．为适应实用化系统的要求,统计数据进行压缩,并采用特殊的检索算法．提出了多项式级的逐步渗透译文选择算法,实验结果表明,该算法可以将译文选择正确率提高１０％以上．     

基于字典学习的大气湍流退化图像复原技术应用

为了消除大气湍流对图像的影响, 提高图像质量, 结合稀疏表示理论, 采用字典学习的算法处理大气湍流退化图像。将DCT 过完备字典、K-svd 全局字典和自适应字典的算法应用于图像去噪过程, 并与维纳滤波算法进行比较。结果表明, 该算法能较好地滤除大气湍流退化图像的噪声, 提高图像的峰值信噪比。仿真实验验证了稀疏表示在处理大气湍流退化图像的可行性, 对比传统算法具有更好的去噪性能。