基于多头注意力胶囊网络的文本分类模型 |
| |
引用本文: | 贾旭东,王莉.基于多头注意力胶囊网络的文本分类模型[J].清华大学学报(自然科学版),2020,60(5):415-421. |
| |
作者姓名: | 贾旭东 王莉 |
| |
作者单位: | 太原理工大学大数据学院,太原030024;太原理工大学大数据学院,太原030024 |
| |
基金项目: | 国家自然科学基金;国家国际科技合作专项基金;山西能源学院院级科研基金项目 |
| |
摘 要: | 文本序列中各单词的重要程度及其之间的依赖关系对于识别文本类别有重要影响。胶囊网络不能选择性关注文本中重要单词,并且由于不能编码远距离依赖关系,在识别具有语义转折的文本时有很大局限性。为解决上述问题,该文提出了一种基于多头注意力的胶囊网络模型,该模型能编码单词间的依赖关系、捕获文本中重要单词,并对文本语义编码,从而有效提高了文本分类任务的效果。结果表明:该文模型在文本分类任务中效果明显优于卷积神经网络和胶囊网络,在多标签文本分类任务上效果更优,能更好地从注意力中获益。
|
关 键 词: | 胶囊网络 多头注意力 自然语言处理 文本分类 |
本文献已被 CNKI 万方数据 等数据库收录! |
|