|
|||||
|
|
| 基于梯度监督学习的理论与应用(Ⅰ)——基本算法 | |
| 引用本文： | 司捷,周贵安,李函,韩英铎.基于梯度监督学习的理论与应用(Ⅰ)——基本算法[J].清华大学学报(自然科学版),1997(7). |
| 作者姓名： | 司捷 周贵安 李函 韩英铎 |
| 作者单位： | 清华大学电机工程及应用电子技术系 |
| 摘 要： | 讨论了一类基于梯度的监督训练算法及其用于神经网络的参数优化。文中详细讨论了ＬＭ算法，它是梯度下降法与高斯牛顿法的结合，既有高斯牛顿法的局部收敛性，又有梯度下降法的全局特性。μ很大时，ＬＭ算法近似于梯度下降法；μ为零时，则是高斯牛顿法。由于利用了近似的二阶导数信息，ＬＭ算法比梯度法快得多。就训练次数及准确度而言，ＬＭ算法明显优于共轭梯度法和变学习率的ＢＰ算法。由于主矩阵的正定性，解总是存在的，从这种意义上说，ＬＭ算法优于高斯牛顿法 |
| 关 键 词： | 神经网络 监督训练 梯度法 LM算法 |
| 本文献已被 CNKI 等数据库收录！ | |