联合实体边界检测的命名实体识别方法

针对传统命名实体识别方法无法有效利用实体边界信息的问题,提出一种联合实体边界检测的命名实体识别方法,即将实体边界检测作为辅助任务,增强模型对实体边界的判断能力,进而提升模型对实体的识别效果。首先,利用Bert预训练语言模型对原始文本进行特征嵌入获取词向量,并引入自注意力机制增强词对上下文信息的利用;其次,在命名实体识别任务的基础上,添加实体边界检测辅助任务,增强模型对实体边界的识别能力;再次,对比联合实体边界检测的命名实体识别方法与基线方法的有效性,并对测试结果进行消融实验;最后,进行样例分析,分析损失权重β对实体边界检测的影响。实验结果表明,在英文社交媒体数据集Twitter-2015上,联合实体边界检测的命名实体识别方法相较于基线模型取得了更高的精准率、召回率和F1值,其中F1值达到了73.57%;并且,边界检测辅助任务提升了基线方法的检测效果。所提方法能有效利用实体边界信息,从而获得更好的实体识别效果,促进了人机交互系统的发展,对自然语言处理下游任务有重要意义。     

基于度量学习和层级推理网络的抽取式摘要方法

当前大部分的抽取式摘要方法主要关注对摘要句的表示和抽取，容易忽略对文本特征表示的充分性。为了解决这一问题，提出一种基于度量学习和层级推理网络的抽取式摘要方法。首先，在抽取式任务基础上提出基于度量学习和层级推理的抽取式摘要模型（MLHIN）；其次，在CNN/DailyMail数据集上进行模型评估，并在英文摘要数据集CNN/DailyMail上进行测试；最后，对测试结果进行验证。结果显示，所提方法模型在Rouge-1,Rouge-2,Rouge-L上的得分明显优于其他模型，比Lead-3模型分别高出0.84％，1.29％和2.43％；通过将提出的度量损失metric和层级推理模型中的句子编码器替换掉，可以看出模型性能均有不同程度的下降，证明了提出的层级推理网络和度量损失的有效性。新算法能够提高模型捕捉长距离依赖的能力，增强模型对摘要句与非摘要句的分辨力，有效改善了抽取式摘要方法的性能。