基于自注意力机制与BiLSTM的短文本匹配模型

现有短文本匹配方法更多关注于句子之间的交互方式，而较少考虑短文本自身关键特征的提取，为此本文提出一个融合自注意力机制和双向长短期记忆网络(BiLSTM)的短文本匹配模型。首先利用BiLSTM和自注意力机制进行特征编码，通过残差连接缓解信息丢失问题；然后利用双向注意力网络进行特征交叉，得到考虑了两个短文本之间交互影响的编码形式；最后将自注意力编码与双向注意力编码进行拼接，既能保留句子本身的重要特征，又能得到交互的特征信息。在两个公开数据集Quora和MRPC上进行对比实验，结果表明，该模型能有效改善短文本匹配性能，特别是在Quora数据集上的准确率达到87.59%,明显优于其他6种常见的同类模型。