|
|||||
|
|
| 带有方差减小的加权零阶随机梯度下降算法 | |
| 作者姓名： | 鲁淑霞 张罗幻 蔡莲香 孙丽丽 |
| 作者单位： | 河北大学数学与信息科学学院,河北省机器学习与计算机智能重点实验室,河北保定071002;河北省教育考试院,河北石家庄,050091 |
| 摘 要： | 随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导的问题,计算代价太大或无法进行计算;在每次迭代中利用单个样本梯度近似代替全梯度,这必然会产生方差,严重影响算法的分类性能.针对上述问题,提出了带有方差减小的加权零阶随机梯度下降算法,考虑了数据的间隔分布情况,在目标函数中引入了间隔均值项,并对多数类样例赋予了较小的权值,对少数类样例赋予较大的权值.在对优化问题的求解中,采用零阶优化的方法对梯度进行估计,并且引入了方差减小策略.在一些非平衡数据集上的实验验证了所提算法的有效性,并有效解决了上述问题. |
| 关 键 词： | 零阶优化 随机梯度下降 方差减小 非平衡数据 支持向量机 |
| 收稿时间： | 2019-01-06 |
| 本文献已被 CNKI 万方数据 等数据库收录！ | |
| 点击此处可从《河北大学学报(自然科学版)》浏览原始摘要信息 | |
| 点击此处可从《河北大学学报(自然科学版)》下载全文 | |