| 基于BERT和多头注意力的中文命名实体识别方法 |
| |
| 引用本文： | 孙弋,梁兵涛. 基于BERT和多头注意力的中文命名实体识别方法[J]. 重庆邮电大学学报(自然科学版), 2023, 35(1): 110-118 |
| |
| 作者姓名： | 孙弋 梁兵涛 |
| |
| 作者单位： | 西安科技大学 通信与信息工程学院,西安 710600 |
| |
| 摘 要： | 针对双向长短时记忆网络-条件随机场(bi-directional long short-term memory-conditional random field,BiLSTM-CRF)模型存在准确率低和向量无法表示上下文的问题,提出一种改进的中文命名实体识别模型。利用裁剪的双向编码器表征模型(bidirectional encoder representations from transformers,BERT)得到包含上下文信息的语义向量;输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU)网络及多头自注意力层捕获序列的全局和局部特征;通过条件随机场(conditional random field,CRF)层进行序列解码标注,提取出命名实体。在人民日报和微软亚洲研究院(Microsoft research Asia,MSRA)数据集上的实验结果表明,改进模型在识别效果和速度方面都有一定提高;对BERT模型内在机理的分析表明,BERT模型主要依赖从低层和中层学习到的短语及语法信息完成命名实体识别(named entity recognition,NER)任务。
|
| 关 键 词： | 命名实体识别 自注意力机制 BERT模型 双向门控循环单元 机理分析 |
| 收稿时间： | 2021-08-16 |
| 修稿时间： | 2022-11-01 |
Chinese named entity recognition method based on BERT and multi-head attention |
| |
| SUN Yi,LIANG Bingtao. Chinese named entity recognition method based on BERT and multi-head attention[J]. Journal of Chongqing University of Posts and Telecommunications, 2023, 35(1): 110-118 |
| |
| Authors: | SUN Yi LIANG Bingtao |
| |
| Affiliation: | College of Communication and Information Engineering, Xi''an University of Science and Technology, Xi''an 710600, P. R. China |
| |
| Abstract: | |
| |
| Keywords: | named entity recognition self-attention mechanism bidirectional encoder representations from transformers model bidirectional gated recurrent unit mechanism analysis |
|
| 点击此处可从《重庆邮电大学学报(自然科学版)》浏览原始摘要信息 |
|
点击此处可从《重庆邮电大学学报(自然科学版)》下载全文 |
