BiLSTM与多头注意力机制结合的生成式中文自动文摘

针对传统生成式模型在处理文本时出现梯度消失、爆炸及捕捉到文章前后语义信息不充分的问题,文章提出一种生成式自动文摘网络模型BiLSTM＿MulAtten(BiLSTM and Multi-head Attention)。编码器端使用堆叠BiLSTM将文本编码成语义向量,并且使用多头注意力机制以降低序列信息损失;解码器端使用堆叠LSTM,并利用集束搜索方法对语义向量进行解码。实验结果表明,本文方法能够有效提升生成摘要质量,在语义获取方面有着更好的效果,在LCSTS测试集上比目前文摘效果最好的DRGD方法ROUGE分数提升了0.5%至5.8%。