基于XLNet的中文文本情感分析 |
| |
作者姓名: | 李东金 单锐 阴良魁 王芳 程宝娜 |
| |
作者单位: | 1. 燕山大学理学院;2. 中国科学院科技创新发展中心 |
| |
基金项目: | 河北省自然科学基金资助项目(F2020203105); |
| |
摘 要: | 针对Word2vec等静态词向量模型不能解决一词多义、传统情感分析模型不能同时提取文本的全局和局部信息问题,本文提出了结合广义自回归预训练语言模型(XLNet)的文本情感分析模型。首先利用XLNet表示文本特征,然后利用卷积神经网络提取文本向量的局部特征,再利用双向门控循环单元提取文本的更深层次上下文信息,最后引入注意力机制,根据特征的重要性赋予特征不同的权重,并进行文本情感极性分析。仿真实验中将本文模型与5种常用的情感分析模型进行对比,验证了模型的准确率和优越性。
|
关 键 词: | 情感分析 广义自回归预训练语言模型 卷积神经网络 双向门控循环单元 注意力机制 |
|