基于多头注意力机制的医学文本实体研究

医学文本实体识别过程存在多义性和复杂性等特点,这导致传统的语言处理模型无法有效获取医学文本语义信息,从而影响了医学实体识别效果。本文提出了一种基于全词MASK的医学文本实体识别模型,其能有效处理中文文本。其中,BERT预处理层能够生成表征上下文语义信息的词向量,Bi-LSTM层对输入的词向量进行双向特征信息提取,注意力机制层对输出的特征向量进行权重分配,从而有效获取文本语句中的长距离依赖,最后通过CRF解码以生成实体标签序列。实验结果表明,该模型在中文简历语料库和CCKS2017语料库中表现优异,F1值分别为96.14%和92.68%。