不均衡数据对卷积神经网络的影响及改进算法 |
| |
作者姓名: | 马骏 钱亚冠 郭艳凯 吴淑慧 云本胜 |
| |
作者单位: | 浙江科技学院曙光大数据学院,杭州310023;浙江科技学院曙光大数据学院,杭州310023;浙江科技学院曙光大数据学院,杭州310023;浙江科技学院曙光大数据学院,杭州310023;浙江科技学院曙光大数据学院,杭州310023 |
| |
基金项目: | 浙江省自然科学基金;浙江省公益技术应用研究项目;国家自然科学基金 |
| |
摘 要: | 通过不同的数据分布、激活函数和网络结构对卷积神经网络(convolutional neural networks,CNN)的训练过程进行试验分析发现,数据不均衡会造成CNN训练过程收敛慢、泛化能力差的负面影响。针对这一问题,结合过抽样和欠抽样各自的优点,在随机梯度下降算法的基础上,提出均衡小批量随机梯度下降算法(equilibrium mini-batch stochastic gradient descent,EMSGD),保证小批量内的数据均衡,精确调整更新参数的梯度方向。试验结果表明,均衡小批量随机梯度下降算法可以在数据不均衡条件下提高CNN训练误差收敛速度,提高泛化性能。
|
关 键 词: | 数据不均衡 卷积神经网络 随机梯度下降 |
本文献已被 CNKI 万方数据 等数据库收录! |
|