|
|||||
|
|
| 面向语言模型的神经元连接自动学习方法 | |
| 引用本文： | 姜雨帆,李北,林野,李垠桥,肖桐,朱靖波.面向语言模型的神经元连接自动学习方法[J].厦门大学学报(自然科学版),2019(2). |
| 作者姓名： | 姜雨帆 李北 林野 李垠桥 肖桐 朱靖波 |
| 作者单位： | 东北大学计算机科学与工程学院自然语言处理实验室 |
| 摘 要： | 在自然语言处理中,由于神经网络的结构需要人工设计,容易导致复杂的神经网络结构中存在大量冗余.为了减少冗余,人们常采用剪枝等模型压缩方法,但是这类方法通过一些与训练过程无关的指标直接对模型进行裁剪时往往造成性能损失.因此探索了一种神经网络中神经元连接的自动学习方法,通过在训练中对神经元连接进行动态生长和删除的方法,可以更好地对网络连接进行动态操作,从而得到更紧凑、高效的网络结构.使用该方法在神经语言模型上进行自动生长和消去,在保证网络性能不变的前提下,网络规模可缩小49%. |
| 本文献已被 CNKI 等数据库收录！ | |