| 基于多任务损失附加语言模型的语音识别方法 |
| |
| 引用本文： | 柳永利,张绍阳,王裕恒,解熠.基于多任务损失附加语言模型的语音识别方法[J].江苏大学学报(自然科学版),2023(5):564-569. |
| |
| 作者姓名： | 柳永利 张绍阳 王裕恒 解熠 |
| |
| 作者单位： | 1. 长安大学信息工程学院;2. 陕西交通控股集团有限公司运营管理分公司 |
| |
| 摘 要： | 针对Attention过于灵活的对齐方式在复杂环境中适应性差、简单端到端模型对语言特征利用不充分的问题，研究了基于多任务损失附加语言模型的语音识别方法.通过分析语音信号特征，训练中选用包含更多信息的特征.以基于Attention的Conformer端到端模型为基础，采用CTC损失辅助纯Conformer (Attention)的多任务损失训练模型，得到Conformer-CTC语音识别模型.在Conformer-CTC模型基础上，通过分析对比部分语言模型的特点与效果，将Transformer语言模型通过重打分机制附加至上述模型的训练中，最终得到Conformer-CTC-Transformer语音识别模型.在AISHELL-1数据集上对上述模型进行了试验.结果表明：Conformer-CTC模型相对于纯Conformer (Attention)模型在测试集上的字错率(character error rate,CER)降低了0.49%,而Conformer-CTC-Transformer模型相对于Conformer-CTC模型在测试集上的CER又降低了0.79%.CTC损失可以改善Att...
|
| 关 键 词： | 语音识别 深度学习 语言模型 多任务损失 Conformer Transformer CTC |
|
|
