| 带有方差减小的加权零阶随机梯度下降算法 |
| |
| 引用本文： | 鲁淑霞,张罗幻,蔡莲香,孙丽丽. 带有方差减小的加权零阶随机梯度下降算法[J]. 河北大学学报(自然科学版), 2019, 39(5): 536. DOI: 10.3969/j.issn.1000-1565.2019.05.015 |
| |
| 作者姓名： | 鲁淑霞 张罗幻 蔡莲香 孙丽丽 |
| |
| 作者单位： | 河北大学数学与信息科学学院,河北省机器学习与计算机智能重点实验室,河北保定071002;河北省教育考试院,河北石家庄,050091 |
| |
| 摘 要： | 随机梯度下降(stochastic gradient descent,SGD)算法是机器学习问题中的高效求解方法之一.但是,对于非平衡数据,传统的随机梯度下降算法,在训练时多数类点被抽到的概率远大于少数类点,易导致计算不平衡;对于目标函数不可导或不易求导的问题,计算代价太大或无法进行计算;在每次迭代中利用单个样本梯度近似代替全梯度,这必然会产生方差,严重影响算法的分类性能.针对上述问题,提出了带有方差减小的加权零阶随机梯度下降算法,考虑了数据的间隔分布情况,在目标函数中引入了间隔均值项,并对多数类样例赋予了较小的权值,对少数类样例赋予较大的权值.在对优化问题的求解中,采用零阶优化的方法对梯度进行估计,并且引入了方差减小策略.在一些非平衡数据集上的实验验证了所提算法的有效性,并有效解决了上述问题.
|
| 关 键 词： | 零阶优化 随机梯度下降 方差减小 非平衡数据 支持向量机 |
| 收稿时间： | 2019-01-06 |
Weighted zeroth-order stochastic gradient descent algorithm with variance reduction |
| |
| LU Shuxia,ZHANG Luohuan,CAI Lianxiang,SUN Lili. Weighted zeroth-order stochastic gradient descent algorithm with variance reduction[J]. Journal of Hebei University (Natural Science Edition), 2019, 39(5): 536. DOI: 10.3969/j.issn.1000-1565.2019.05.015 |
| |
| Authors: | LU Shuxia ZHANG Luohuan CAI Lianxiang SUN Lili |
| |
| Affiliation: | 1.Key Laboratory of Machine Learning and Computational Intelligence of Hebei Province, College of Mathematics and Information Science, Hebei University, Baoding 071002, China; 2.Hebei Education Examinations Authority, Shijiazhuang 050091, China |
| |
| Abstract: | |
| |
| Keywords: | zeroth-order optimization stochastic gradient descent variance reduction imbalanced data set support vector machine |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
| 点击此处可从《河北大学学报(自然科学版)》浏览原始摘要信息 |
|
点击此处可从《河北大学学报(自然科学版)》下载全文 |
|
