基于多任务蒸馏的意图识别和槽位填充

BERT等预训练模型在很多NLP任务上取得了良好的效果，但预训练模型参数规模大，运算量大，对硬件资源要求高，难以部署在小型的配置环境中。模型压缩是解决该问题的关键，知识蒸馏是目前较好的模型压缩方法。基于此，提出基于多任务蒸馏的句意图识别和槽位填充联合模型，该模型将ALBERT运用到任务型对话系统中，并利用知识蒸馏策略将ALBERT模型知识迁移到BiLSTM模型。实验结果表明，基于ALBERT的联合模型在SMP 2019评测数据集中的句准确率为77.74%,单独训练的BiLSTM模型句准确率为58.33%,而蒸馏模型的句准确率为67.22%,在比BiLSTM高8.89%的情况下，推断速度约为ALBERT的18.9倍。