|
|||||
|
|
| 一种改进的自适应动量梯度下降算法 | |
| 引用本文： | 姜志侠,宋佳帅,刘宇宁.一种改进的自适应动量梯度下降算法[J].华中科技大学学报(自然科学版),2023(5):137-143. |
| 作者姓名： | 姜志侠 宋佳帅 刘宇宁 |
| 作者单位： | 1. 长春理工大学数学与统计学院 |
| 基金项目： | 吉林省自然科学基金资助项目(YDZJ202201ZYTS519)；;国家自然科学基金资助项目(11426045)； |
| 摘 要： | 为改进Adam算法存在的全局收敛性较差的问题，提出一个带有角系数的AngleAdam算法．该算法利用两次连续梯度间的角度信息自适应控制步长，一定程度改进了Adam算法全局收敛性较差的问题，提升了优化能力．采用在线学习框架，对算法从遗憾界的角度进行收敛性分析，证明了AngleAdam具有次线性的遗憾．基于构造的三个非凸函数和深度神经网络模型，对AngleAdam算法的优化能力进行实验，实验结果表明该算法可得到较好的优化结果． |
| 关 键 词： | 机器学习 梯度下降类算法 Adam算法 全局收敛性 遗憾界 角度信息 |