|
|||||
|
|
| 基于BERT和改进胶囊网络的关系分类方法 | |
| 作者姓名： | 钟志峰 侯瑞洁 |
| 作者单位： | 湖北大学计算机与信息工程学院 |
| 基金项目： | 国家自然科学基金面上项目(61977021)资助; |
| 摘 要： | 针对关系分类主流模型中存在的空间信息丢失和旋转不变性差的缺点,提出一个基于BERT和多头注意机制-胶囊网络(MA-CapsNet)的算法模型.该模型首先在句子的实体两端插入特殊符号,增强模型对实体信息的表示能力,再通过预训练的BERT语言模型获得包含上下文信息的语义向量表示,然后传入改进后的注重空间位置信息的胶囊网络中学习句子的语义特征并分类.同时引入多头注意力机制进一步提升模型的分类效果.在SemEval-2010 task 8关系分类数据集上,该算法模型取得了90.15%的宏F值.实验表明该模型架构能强化对句子语义特征的捕捉,改善关系分类任务的分类效果. |
| 关 键 词： | 关系分类 BERT模型 卷积神经网络 多头注意力机制 胶囊网络 |