| 基于卷积神经网络和自注意力机制的文本分类模型 |
| |
| 引用本文： | 汪嘉伟,杨煦晨,琚生根,袁宵,谢正文.基于卷积神经网络和自注意力机制的文本分类模型[J].四川大学学报(自然科学版),2020,57(3):469-475. |
| |
| 作者姓名： | 汪嘉伟 杨煦晨 琚生根 袁宵 谢正文 |
| |
| 作者单位： | 四川大学计算机学院,成都 610065;四川大学计算机学院,成都 610065;四川大学计算机学院,成都 610065;四川大学计算机学院,成都 610065;四川大学计算机学院,成都 610065 |
| |
| 基金项目： | 2018年四川省新一代人工智能重大专项科技项目（2018GZDZX0039) |
| |
| 摘 要： | 单词级别的浅层卷积神经网络(CNN)模型在文本分类任务上取得了良好的表现.然而,浅层CNN模型由于无法捕捉长距离依赖关系,影响了模型在文本分类任务上的效果.简单地加深模型层数并不能提升模型的效果.本文提出一种新的单词级别的文本分类模型Word-CNN-Att,该模型使用CNN捕捉局部特征和位置信息,利用自注意力机制捕捉长距离依赖.在AGNews、DBPedia、Yelp Review Polarity、Yelp Review Full、Yahoo! Answers等5个公开的数据集上,Word-CNN-Att比单词级别的浅层CNN模型的准确率分别提高了0.9%、0.2%、0.5%、2.1%、2.0%.
|
| 关 键 词： | 文本分类 卷积神经网络 自注意力机制 长距离依赖 |
| 收稿时间： | 2019/11/4 0:00:00 |
| 修稿时间： | 2019/12/2 0:00:00 |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
| 点击此处可从《四川大学学报(自然科学版)》浏览原始摘要信息 |
| 点击此处可从《四川大学学报(自然科学版)》下载免费的PDF全文 |
|
