|
|||||
|
|
| 基于轻量3D CNNs和Transformer的手语识别 | |
| 作者姓名： | 路飞 韩祥祖 程显鹏 田国会 |
| 作者单位： | 山东大学控制科学与工程学院 |
| 基金项目： | 国家自然科学基金资助项目(61973187,61773239)； |
| 摘 要： | 针对传统基于3D CNNs(三维卷积神经网络)的手语识别方法模型计算复杂度和内存占用较高，及基于RNNs(循环神经网络)的连续手语识别方法的长距离建模能力不足的问题，提出一种基于轻量3DCNNs和Transformer的手语识别方法．首先使用轻量3D CNNs进行孤立词手语识别的时空建模，然后提出RKD(随机知识蒸馏)，从多个教师模型中提取知识以提高轻量三维卷积的特征提取能力；针对连续手语，在特征提取后使用完全基于自注意力的Transformer进行全局建模．实验结果表明：所提方法在CSL-500和CSL-continuous数据集上可以获得95.10%的识别率和1.9的WER(词错误率)，证明了所提方法的有效性． |
| 关 键 词： | 手语识别 轻量三维卷积神经网络 知识蒸馏 Transformer网络 特征提取 |