| 基于互信息改进算法的新词发现对中文分词系统改进 |
| |
| 引用本文： | 杜丽萍,李晓戈,于根,刘春丽,刘睿.基于互信息改进算法的新词发现对中文分词系统改进[J].北京大学学报(自然科学版),2016,52(1):35-40. |
| |
| 作者姓名： | 杜丽萍 李晓戈 于根 刘春丽 刘睿 |
| |
| 作者单位： | 西安邮电大学,西安,710121;西安邮电大学,西安,710121;西安邮电大学,西安,710121;西安邮电大学,西安,710121;西安邮电大学,西安,710121 |
| |
| 基金项目： | 国家自然科学基金，陕西省普通高等学校重点学科专项资金，西安邮电大学研究生创新基金 |
| |
| 摘 要： | 提出一种非监督的新词识别方法。该方法利用互信息(PMI)的改进算法——PMIk算法与少量基本规则相结合,从大规模语料中自动识别2~n元网络新词(n为发现的新词最大长度,可以根据需要指定)。基于257MB的百度贴吧语料实验,当PMIk方法的参数为10时,结果精度达到97.39%,比PMI方法提高28.79%,实验结果表明,该新词发现方法能够有效地从大规模网络语料中发现新词。将新词发现结果编纂成用户词典,加载到汉语词法分析系统ICTCLAS中,基于10 KB的百度贴吧语料实验,比加载用户词典前的分词结果准确率、召回率和F值分别提高7.93%,3.73%和5.91%。实验表明,通过进行新词发现能有效改善分词系统对网络文本的处理效果。
|
| 关 键 词： | 新词识别 未登录词 互信息 PMI改进算法 中文分词 |
New Word Detection Based on an Improved PMI Algorithm for Enhancing Segmentation System |
| |
| DU Liping,LI Xiaoge,YU Gen,LIU Chunli,LIU Rui.New Word Detection Based on an Improved PMI Algorithm for Enhancing Segmentation System[J].Acta Scientiarum Naturalium Universitatis Pekinensis,2016,52(1):35-40. |
| |
| Authors: | DU Liping LI Xiaoge YU Gen LIU Chunli LIU Rui |
| |
| Abstract: | |
| |
| Keywords: | new word recognition unknown word PMI improved PMI algorithm Chinese word segmentation |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
