| 基于神经网络语言模型的动态层序Softmax训练算法 |
| |
| 引用本文： | 杨鹤标,胡惊涛,刘芳.基于神经网络语言模型的动态层序Softmax训练算法[J].江苏大学学报(自然科学版),2020,41(1):67-72,80. |
| |
| 作者姓名： | 杨鹤标 胡惊涛 刘芳 |
| |
| 作者单位： | 江苏大学 计算机科学与通信工程学院,江苏 镇江212013;江苏大学 计算机科学与通信工程学院,江苏 镇江212013;江苏大学 计算机科学与通信工程学院,江苏 镇江212013 |
| |
| 基金项目： | 国家自然科学基金;江苏省社会发展项目 |
| |
| 摘 要： | 针对词向量训练过程中层序Softmax算法无法进行增量训练及海量数据训练低效的问题,提出了动态层序Softmax算法.通过对数据样本的增量加载,采用结点置换方法动态构建编码树,实现对样本的增量训练.为避免损失函数因样本量较少而呈现震荡式下降,利用梯度的一阶矩估计与二阶矩估计动态调整参数更新方向与学习率,通过梯度迭代缩小权值变化范围和收敛训练误差,提高词向量的训练效率.以维基百科中文语料作为数据进行了试验,完成了训练效率和质量的分析.结果表明:相较于现有方法动态层序Softmax算法显著提高了训练效率,当增量样本大小为10 kB～1 MB时,训练增速有近30倍的提升,有效地缩短训练周期.
|
| 关 键 词： | 词向量 层序Softmax 增量训练 矩估计 梯度迭代 |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
