| 基于优化最大匹配与统计结合的汉语分词方法 |
| |
| 引用本文： | 刘春辉,金顺福,刘国华,李颖.基于优化最大匹配与统计结合的汉语分词方法[J].燕山大学学报,2009,33(2). |
| |
| 作者姓名： | 刘春辉 金顺福 刘国华 李颖 |
| |
| 作者单位： | 燕山大学,信息科学与工程学院,河北,秦皇岛,066004 |
| |
| 摘 要： | 汉语自动分词足中文信息处理的前提,如何提高分词效率是中文信息处理技术面临的一个主要问题.基于训典和基于统计的分词方法是现有分词技术的主要方法,但是前者无法处理歧义字段,后者需要大量的词频汁算耗费时间.本文提出优化最大匹配与统汁结合的分词方法,首先提出优化最大匹配算法,在此基础上提出了规则判断与信息量统计两种消歧策略.然后,给出了优化最大匹配与统计结合的分词算法,提高了分词的效率.最后,基十分词算法实现中义分词系统,并通过实验对算法进行了分析和验证.
|
| 关 键 词： | 中文信息处理 词典 分词 优化最大匹配方法 |
A Chinese segmentation method based on optimization maximum matching and statistics |
| |
| LIU Chun-hui,JIN Shun-fu,LIU Guo-hua,LI Ying.A Chinese segmentation method based on optimization maximum matching and statistics[J].Journal of Yanshan University,2009,33(2). |
| |
| Authors: | LIU Chun-hui JIN Shun-fu LIU Guo-hua LI Ying |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
|
