|
|||||
|
|
| 融合相似性判断的网络新词发现算法 | |
| 引用本文： | 张爽,陈莉,李铮.融合相似性判断的网络新词发现算法[J].西北大学学报,2022(2):239-247. |
| 作者姓名： | 张爽 陈莉 李铮 |
| 作者单位： | 西北大学信息科学与技术学院 |
| 基金项目： | 国家重点研发计划项目(2020YFC1523301)；;陕西省重点研发计划项目(2019ZDLSF07-02,2019ZDLGY10-01)； |
| 摘 要： | 新词的有效识别是文本预处理过程中一项非常重要的任务,关系到分词效果的好坏.针对传统新词发现方法未考虑单字新词的识别,且忽略了上下文句法结构与语义信息对新词识别结果的影响,提出一种统计量计算结合相似性判断的网络新词发现算法.首先,基于字的粒度,依次计算单字词频、最大增强互信息和加权左右邻接熵,从左向右逐字扩展多字词,获得... |
| 关 键 词： | 新词发现 句法分析 相似性计算 卷积神经网络 增强互信息 |